现在说人头上戴绿就是代指伴侣出轨，因为这个隐喻，让绿帽成为最不受欢迎的帽子。其实绿帽子的说法流传很久了，如果把女子比作红花，那么男子就是衬托的绿叶，因此，绿代表男性。

据说，在古时候有一对夫妻，妻子忍不住跟街市一个卖布的好上了，在丈夫外出做生意的时候，他们就巫山云雨地在一起厮混。一天，丈夫骑着马到城外打猎去了，经过街市，那卖布的见了非常高兴，以为他又要外出做生意，当晚就迫不及待地窜进了妻子的卧室，准备和相好幽会。当晚丈夫回来了，那卖布的只好哆嗦在人家的床底一整晚。这件事后，妻子就向那卖布的要了一块绿色的布料，做了一顶帽子给丈夫，还和那卖布的约定，当你看见我丈夫戴上绿帽子外出的时候，你就可以来了。过了几天，丈夫又要外出做生意了，妻子赶紧拿出那顶绿帽子对丈夫说：“外面的风沙大，戴上就不会弄脏头发。而且这颜色让你看起来很俊，以后你每次外出我都为你做一顶，就像我跟在你身边一样，你就不用牵挂我了。”丈夫听了很开心，以为自己真的很俊，于是高高兴兴戴上那顶绿帽子，骑着马得意洋洋穿过街市，到外地做生意去了。

而《元典章》规定：娼妓之家长和亲属男子裹着青头巾。由此，“青头巾”就与娼妓之男性亲属有了联系。由于青、绿二色比较接近，又同属贱色，人们习惯于说“绿头巾”。由于绿色与娼妓有关，后来，“绿头巾”专用来指妻子有不贞行为的男人，并演变成了“绿帽子”。

据明朝郎瑛所撰的笔记《七修类稿》载，相传于春秋时期，依靠妻女卖淫收入为生的男子以绿头巾裹头作为识别。而绿色在中国古代被视为低贱者的用色，《汉书·东方朔传》提到馆陶公主刘嫖的情夫董偃，头戴绿帻，颜师古的注是：“绿帻，贱人之服也。”唐朝诗人李白在《古风》中也有“绿帻谁家子，卖珠轻薄儿”之句，可见当时绿色为低贱者所用的颜色。

可以说，绿帽子这个说法流传了非常久，具体出处已经不可考了，但可以看出绿色从古至今一直被排斥在主流色彩外的。