“厚赂仲阳”之罪罢免浙西观察使后，继任官员即使想“供给”也有顾忌，她的生活一定是很艰苦的。
杜牧经过润州时，“感其穷且老，为之赋诗”。诗中说：“归来四邻改，茂苑草菲菲。清血洒不尽，仰天知问谁?寒衣一匹素，夜借邻人机。”
她要靠自己织布缝衣，而织布机却要向邻居借用，而且只能在夜间织布，她的穷困潦倒，百无聊赖，也就可想而知。
当年杜秋娘入宫之时，杜牧还是年仅五六岁的孩童，因随祖父杜佑入朝，观赏过杜秋娘的歌舞，也认识了这位多情的才女。一晃二十多年过去了，杜牧于太和年间在宣州宣歙观察使幕中，还对杜秋娘十分关怀。太和十七年，杜牧孑然一身，路过镇江，在金陵渡口恰遇韶华已逝、鬓发斑白的杜秋娘。朝廷多事，人世沧桑，一个是壮志未酬，浪迹天涯;一个是百劫千磨，终身报恨。故旧重逢，恍有隔世之感，杜牧一气呵成长达一百一十三句的五古长诗《杜秋娘诗》并序。
开头直道：“京江水清滑，生女白如脂，共间杜秋者，不劳朱粉施……秋持玉器碎，与唱金缕衣……”。
借记叙杜秋娘的经历，以抒发人生穷达变化不定，不能掌握自己命运的慨叹，表达了诗人在命运面前无可奈何的惆怅心情。此诗当即为张裕所赞赏，并写题为《读池州杜员外杜秋娘诗》一首：“年少多情杜牧之，风流仍在杜秋词。可知不是长门闭，也得相如第一词。”
自古女子的命运多掌握在别人手中，而出身寒微的杜秋娘，却敢于凭着自己的才智向命运挑战，博得了一段辉煌的历程，不禁令人感慨万千。
秋娘也老了，关于秋娘还乡，杜牧写的非常煽情：“四朝三十载，似梦复疑非。潼关识旧吏，吏发已如丝。归来四邻改，茂苑草菲菲。清血洒不尽，仰天知问谁。”
她默默的看着蓝天、白云，数着忽而南来，忽而北往的大雁。
也许她经常北望，远眺长安，那人世间最尊贵的皇宫，那里有她一生都难以抹尽的、刻骨铭心的记忆。这些记忆都化做一片片云朵，飘散在空中，慢慢的散去，不留一丝岁月的痕迹。