二人同时锒铛入狱，意气奋发想博取功名的唐寅意外地再次陷入人生的低谷。在天牢里他受尽了凌辱与折磨，在给文徵明的书信里他写到：......吏卒如猛虎、举头抱足，涕泪横急。其遭受的苦痛可见一斑。接下来的审讯也没问出个所以然。案子最终不明不白的了结。虽然唐寅没有被判以重罪，但是此时他已声名扫地，仕途上已经没有了出头之日。
出狱不久，唐寅27岁时的续弦何氏离他而去，他的弟嫂也要求分家，这使已经身心憔悴的他再次遭受打击，幸好他的青楼知己九娘时时给他以抚慰，才使得他没有就此沉沦并走出低谷，不久，他和九娘结为夫妻。从此他潜心作画，丹青技艺大有长进。屡遭打击的唐寅自此对封建科举、功名持着藐视的的态度，在晚年他精神上空虚“皈依佛乘，字号六如”。1523年54岁的唐寅走完了他的一生，他的书画多有文徵明等好友保存才得以流传。
如同玄宗和杨贵妃以及其它的一些历史爱情经典一样，如今人们意识里风流的唐寅同样是后世的文人墨客们笔墨渲染出来的。流传甚广的唐伯虎点秋香的故事雏形比较完整的版本见于冯梦龙《唐解元之笑姻缘》，除此之外明朝还有《风流韵响》等不同的版本。
有人说唐寅娶过九个老婆，甚至有人还做了《九美图》，其实这也与事实不符，唐寅只有过三个老婆，即先娶的徐氏，性格不合被休的何氏以及陪伴他终老的九娘。至于“秋香”如同故事本身一样不过是杜撰罢了。