西汉前期，中国北方游牧民族匈奴控制西域地区，并不断进犯中原地区。汉朝与匈奴的战争持续了数百年，这期间既有汉将投降匈奴的，也有匈奴人降汉的。
这些降者在辅佐新主人时，往往得不到重用。不过，有一个被俘的匈奴人却是例外。他不仅受到汉武帝的重用，最后还成为差点成为汉武帝的托孤大臣。这个人就是金日磾。
金日磾就是这样一个人，他本来不姓金，他叫日磾，是匈奴休屠王的儿子，曾被封为休屠太子，父亲因为投降大汉途中变卦因此被杀，从此日磾和他的母亲、弟弟成了官府的奴隶。身份的落差和异国的无限未知，让金日磾养成了敦厚沉稳的性格，他要照顾好自己的母亲和弟弟，这是他作为一个男子汉的责任，这一年日磾只有十四岁。
日磾被派到属于少府管辖的黄门养马，过了一段时间，汉武帝在一次欢宴之余，想看看宫中的马匹养的怎么样。此时皇帝身边站满了后宫的嫔妃，日磾等数十名养马人牵着马在殿前走过，大家都偷偷向里窥视，只有日磾一人不敢。
日磾由于是匈奴族，因此身影高大，和一般的汉人大不相同。他身高八尺二寸，容貌庄严，由他负责饲养的马匹又肥又壮，汉武帝见了大为惊奇，召他上前询问，日磾便将自己的身世禀告一番，汉武帝十分欣赏。
汉武帝欣赏金日磾做的严谨和沉稳，将其放在身边，给予了充分的信任。出行坐车总是带着他，让他坐在自己的身旁，陪侍自己左右。还经常给他各种赏赐，累计计算下来，价值足有千金之数。
对此，朝中一些大臣十分忌恨，纷纷抱怨，并劝汉武帝一定要提防匈奴人。但是，汉武帝不为这些流言蜚语所动，反而更加重用金日磾，封他为驸马都尉、光禄大夫，成为朝廷命官。
征和二年（前91年），汉武帝的宠臣江充因与太子刘据有矛盾，遂陷害、逼死太子。事发后不久，汉武帝幡然醒悟，知道太子是无辜的，因而灭了江充三族。那些曾经参与陷害太子一事的江充同党也难逃被追查的厄运。其中，侍中仆射马何罗与江充关系十分密切，他的弟弟马通更是在诛杀太子时因奋力作战而得到了赏赐。
后来马何罗果然要谋反，想杀了汉武帝。不料被金日磾识破。经过此事后，汉武帝对他就愈发器重。
后元二年（前87），病势垂危的汉武帝把金日磾和霍光叫到床前，嘱托他们共同辅佐时年8岁的太子刘弗陵（即汉昭帝）。由此，金日磾的身份从被俘的匈奴人一跃而成为托孤大臣。
然而，金日磾却拒绝了辅政大臣的任命，谦让地表示："我是匈奴人，能力不如霍光。如果这样做，会让匈奴轻视汉朝。"于是就当了霍光的副手。后来，汉武帝遗诏以讨伐马何罗的功劳封金日磾为秺侯，他却以汉昭帝年少为由不接受封侯。
金日磾辅佐汉昭帝一年多后患病，于始元元年（前86）九月病逝于长安，终年49岁。汉昭帝为他举行了隆重的葬礼，并依据汉武帝遗诏封其为敬侯。