初遇高湛时已是中年大妈，比高湛年龄大很多，亦非美女。按照推测，二人应当只是纯洁的上下属关系。那么历史上，高湛最爱的女人是谁呢?她的名字叫李祖娥。李祖娥本是高洋的妻子，弟弟高湛垂涎嫂嫂美色已久，登基后的第一件事就是以自己的侄子高绍德的性命相要挟，强占了李祖娥。除了女人，高湛还好男色。据说他最宠爱高孝瑜、和士开两位男士，其中高孝瑜不仅是高湛的侄子，也是他的初恋情人;而和士开是个胡人，不仅与高湛有非正当关系，同时还与高湛老婆胡皇后私通，可谓“夫妻共享一夫”。
李延寿著《北史》时评论高湛其人，赞扬他“风度高爽，经算弘长，有帝王之量矣。”;却也批评他“帷薄之间，淫侈过度。”而按照历史上高湛混乱荒淫的私生活写实拍成电视剧，《陆贞传奇》里陈晓饰演的高湛最有可能与刘雪华饰演的太后谈恋爱。
也许历史上的高湛也跟曾经他孩子的奶妈陆令萱（陆贞）有过私通。