在上個世紀的七十年代，某人挖掘了紀曉嵐的故鄉位於河北滄州的墳墓。結果，裡面只有七具女性屍骨，但是沒有男性屍骨，這七名女子很有可能是紀曉嵐的情婦，因為他的正妻馬氏並不在這裡。據推測，紀曉嵐應當至少有八位妻子。
紀曉嵐與正妻馬氏結婚時，她只有二十歲，而他才十七歲。據說在他們洞房花燭夜時，鬧新房的人要求新人吟詩作賦，馬氏隨口念出「百年良緣在今宵，諸君莫要再相擾」，而紀曉嵐則順口回答「織女正在停梭等，速讓牛郎過鵲橋」。大家聽後都開心地散去了。
紀曉嵐的妻妾當中，最受寵愛的莫過於郭氏和沈氏。郭氏在十三歲時便成為了紀曉嵐的小妾，年紀比紀曉嵐小十一歲，相貌美豔，深受紀曉嵐的喜愛。然而，郭氏在三十歲時因病去世，紀曉嵐十分傷心，寫下了許多哀悼的辭章，其中一篇為：「百折湘裙占畫欄，臨風還憶步珊珊，明知神讖曾先定，終惜芙蓉不耐寒。」
另一位得到紀曉嵐疼愛的人是沈氏明軒。她在十三歲時嫁給了比自己大三十七歲的紀曉嵐。儘管年齡差距極大，可是沈氏一到紀家之後，紀曉嵐的正妻馬氏就像親生女兒一樣疼愛她，對待她非常親切、體貼，就好像是待自己的女兒一樣關照丈夫的小妾。如此的待遇在現代看來相當難以理解。
夢想中才子佳人相伴的故事自古以來一直傳頌，但實現的人卻甚少。而紀曉嵐卻能算得上是幸運兒，他不僅有多位佳人相伴，更成為文學界的佼佼者，詩文不僅經久不衰，至今仍被人們稱頌。