出自於《後漢書‧宋弘傳》之記載。
東漢時期，光武帝劉秀有位大夫：宋弘，為人正直而不徇私。曾推薦桓譚，說：「桓譚的學問可以與西漢的楊雄〈辭賦家〉和劉向〈經學家〉比美。」於是，光武帝任命桓譚為給事中之官職，專門在身邊服務。每次宴會，光武帝就叫桓譚鼓琴，桓譚則常用鄭國的靡靡之音以娛樂皇帝。事被宋弘知悉，乃責備桓譚腐化皇帝，然後，宋弘又向皇帝謝罪；因此，光武帝立即罷黜桓譚，亦因而欽佩宋弘做人處事的作風。
光武帝的姐姐湖陽公主，突然死了丈夫，讓她非常傷心，成日憂傷鬱悶。光武帝很想為她找一個如意夫君；於是，就刻意的與她議論著朝中大臣的私人品德，想要暗中了解她的意思。
湖陽公主毫不避諱，她把朝中大臣比較一番，說：「宋弘長得相貌堂堂，又有德行，大臣之中沒有人能比得上他。只可惜已經成婚了！」
光武帝聽後，連連點頭，說：「沒關係！我且與他說說看。」
隔了幾日，光武帝單獨召見宋弘，讓姐姐湖陽公主坐在屏風後面，親自聽一聽自己和宋弘的談話，以了解宋弘的想法。
光武帝對宋弘說：「古人說：『有了地位，就要換朋友；有了錢財，就要換妻子。』你不覺得這是人之常情嗎？」
宋弘聽後，搖頭說：「貧賤之交不可忘，糟糠之妻不下堂。」意思是說，貧賤的時候，交的朋友最可貴，不可以忘記；貧賤的時候，妻子與自己一起吃糟糠，一起過苦日子，無論環境變得如何富有，也不能將她拋棄，這是做人的基本原則。如此一來，始能對得起自己的良心。
聽了這一番話，光武帝頻頻點頭讚許。
等到宋弘離開之後，光武帝對姐姐湖陽公主說：「宋弘真是個君子啊！你們的親事看來是無法湊成的。」
後來，世人延用此一故事，成為「糟糠之妻」的成語，就是用來比喻不拋棄貧賤時共過患難的妻室的意思。