卫子夫是陪伴汉武帝时间最长、影响最大的皇后，卫家也成为汉朝最显赫的外戚家族之一。但卫子夫其实很早就失去了汉武帝的宠爱，但卫家却并没有因此失去荣华富贵。这又是怎么回事呢？
首先，由于早年经历和公正谦逊的处事，卫子夫后来虽然失去了汉武帝的宠爱，但一直没有失去汉武帝的信任。汉武帝出巡时都让卫子夫掌管宫廷，卫子夫提出的建议汉武帝也基本都接受。
其次，卫子夫为汉武帝生的长子刘据很早就别立为太子，这也是卫家显赫的原因之一。汉武帝对于太子刘据是比较满意的，直到"巫蛊之祸"前都没有换太子的念头，自然要维护卫子夫和卫家的地位。
最后，汉武帝对卫子夫的宠爱虽然是卫家荣华富贵的起始，但卫家能够成为汉武帝时期最显赫的外戚家族的根本原因是卫青、霍去病在战场上的赫赫战功，因为那才是汉武帝最看重的。
正因如此，卫家荣华富贵的根基是卫青和霍去病。只要功勋赫赫的卫青和霍去病还在，卫子夫再怎么失宠也不会影响卫家的荣华富贵。而卫家的衰落与败亡恰恰是从卫青去世后开始的。