如今常用"乌纱帽"来指代官员，当官了叫做"戴了乌纱帽"，革职的叫做"摘掉乌纱帽"。其实乌纱帽原是民间常见的一种便帽，官员头戴乌纱帽起源于东晋，但作为正式官服的一个组成部分，却始于隋朝，兴盛于唐朝，到宋朝时加上了"双翅"，明朝以后，乌纱帽才正式成为做官为宦的代名词。
乌纱帽最早起源于东晋，东晋成帝时，皇帝让在宫廷中做事的官员戴一种用黑纱制成的帽子，叫"乌纱帽"。后来到南朝刘宋时，有一位宗室叫刘休仁的创制了一种用黑纱抽边扎帽边的帽子，也叫"乌纱帽"。由于材料便宜、制作简单、式样大方，这种帽子很快在民间流行。
据《通典》载：
"隋文帝（杨坚）开皇初，尝着乌纱帽，自朝贵以下至于冗吏，通着入朝。"
可见当时，天子百官士庶都戴乌纱帽。不过，隋朝用乌纱帽上的玉饰数量来显示官职大小：一品有九块，二品有八块，三品有七块，四品有六块，五品有五块，六品以下就不准装饰玉块了。
据《中华古今注》载，唐朝武德九年，唐太宗李世民曾下过诏书说：
"自今以后，天子服乌纱帽，百宫士庶皆同服之"。
这说明乌纱帽仍然是作为"常服"用的一种帽子。
唐代白居易《感旧纱帽》诗中写道：
"昔君乌纱帽，赠我白头翁。"
这个时候乌纱帽可以当作馈赠朋友的礼品。
而在白居易《同诸客嘲雪中马上妓》一诗中还描写到一位"银篦稳篸乌罗帽，花襜宜乘叱拨驹"的歌妓，说明乌纱帽还可以戴在歌妓的头上。
宋太祖赵匡胤登基后，为防止议事时朝臣交头接耳，下诏书改变乌纱帽的样式：在乌纱帽的两边各加一个翅，并在乌纱帽上装饰不同的花纹，以区别官位的高低。这样只要脑袋一动，软翅就颤动，皇上居高临下，看得清清楚楚。不过，宋代乌纱帽仍然是民间比较普通的便帽，并没有被专门使用。
乌纱帽定为"官帽"则始于明朝洪武年间，据《明史·舆服志》载：
"洪武三年定，凡常朝视事，以乌纱帽、团领衫、束带为公服。"
另外，取得功名而未授官职的状元、进士等，也可戴乌纱帽，从此乌纱帽就成为官员特有的标志性服饰。清代剃发易服后乌纱帽被顶戴所取代。
尽管乌纱帽被指定作为官帽开始于明代，也结束于明代，因为清朝统治者入关以后就废除了以前的冕服制度，官员的乌纱帽也换成了红缨帽，但它却在中国人的语言文化中留下了深深的印痕。