都元敬吃了一惊，回头看去，原来是御史方信之。方信之皮笑肉不笑地说：“元敬兄，你乘人之危，夺人之妻，这岂是君子之为否！”都元敬心里吃慌，赶紧拱手解释：“方大人，晚生见伯虎兄家内不和，只是调解而已。”方信之摇摇头，说：“只怕兄是醉翁之意不在酒！你现在是进士，天子门生，凡事要谨慎，再说你要娶亲，天下女子有的是，何必娶方唐氏这样的妇人。”都元敬听了方信之这番话，越发疑惑。心中暗想，他刚才还怂恿方氏改嫁，如今却搬出这一套孔夫子的陈腐礼教来教训自己。这个人实在不可捉摸！方信之见都元敬愣着，又阴笑道：“快走吧，轿子也抬远了！”都元敬如获大赦，匆忙走了。方信之见都元敬一走，嘴角边露出一丝奸诈的笑容，他刚才怂恿都元敬去夺唐伯虎之妻，出了半年前的这口恶气；又不想担当挑拨离间唐伯虎夫妻的恶名。这时方丈请他去用茶，他念了一声“阿弥陀佛”，走进内殿。再说都元敬为何要引诱方氏。他一是贪方氏美色，二则打探到方氏家道殷富、朝中有靠山；三呢，他觉得唐伯虎毕竟是天下才子，如今他的妻子嫁了自己，还不是提高我都元敬的名声么！这种心思，只有无耻小人才想得出来！方氏到了都元敬的新居，见排场不小，陈设豪华，先有了二分欢喜；都元敬曲意奉承，百般迎合，又有了四分欢喜，两人豪饮之后谈得入港，成全了好事。大凡己婚女子失身于另一个男子，她的心便野了，什么丈夫、家庭、儿女都可抛在脑后。两人相偎之时，都元敬把自己未来的前程吹嘘了一番，方氏又多了四分欢喜，至此凑成十分欢喜，方氏的心就向着都元敬了。从此，方氏与都元敬有了私情，对伯虎越发冷淡，常常住在娘家。伯虎允文徵明去请她几次，方氏只是借故推托。这一天，她打定主意，自己竟回了桃花坞。

伯虎见夫人回来，心里一喜。他虽对方氏不满，但想到三年的夫妻生活，而且一个越是事业不顺利，越需要家庭的温暖。伯虎便让雨墨买了好酒好菜，请方氏对饮。伯虎敬了方氏一杯，说：“往年春夜，难有明月，今日春宵，月明如洗，愿你我恩爱如旧。”方氏却把酒杯搁到一边，说：“年年岁岁相同，岁岁年年人相异。妾身想，你我夫妻三年，恐怕缘分己尽。”又一语双关道：“人生苦短，愿你找到对的人……”伯虎听她说得这般冷静，便说：“夫人当真要离我而去？”方氏冷冷答道：“非妾身之愿，亦为天意。”唐伯虎见方氏今儿说得文雅，便笑笑说：“夫人定是受人教唆，不然何出此言矣。”这话把方氏吓了一跳，面如土色。方氏这几句话皆是都元敬教的，她怕唐伯虎知道自己与都元敬的私情，忙问道：“官人此话怎讲？”伯虎哈哈大笑，说：“夫人今日说话文绉绉的，莫不是在娘家受了古人之训。”方氏这才放下心来，把嘴一撇说：“古人之训读得再多，也中不了进士，读它何用？”唐伯虎把杯中之酒一饮而尽，说：“好读书不求甚解，此为一乐，这不比埋首陈编的功名迷强得多吗？”方氏听到他提到“功名”两字，不由来了火，说：“你自己得不了功名，还干些不清不白的事，亏你还骂得出功名迷！”唐伯虎屈受考场冤案，心中一直不快，想不到自己的结发之妻病逝后这二夫人也附合众人非议自己，他一气之下出了门。从此，方氏与唐伯虎隔膜日深。方氏想就此一走了事，又怕旁人议论，便对都元敬说：“妾身恨不得早日嫁了你，朝夕与你快乐，同享荣华富贵。只是妾身娘家不愿，旁人又有闲话。”都元敬摸了摸眉梢上的痣，说：“我倒有个办法，唐伯虎常去风月楼，你不妨翻翻他的诗稿，可有写给沈九娘的，如找得一首，便可和他翻脸，说他有了九娘不顾妻室，这样天下人就会斥他的不是了。”方氏倒在他怀里，撒娇道：“亏你想得周到！”大凡文人，本好舞文弄墨，高兴也罢，烦恼也罢，总爱提起笔来，在纸上发泄一番。伯虎受方氏之气，不是去文、祝、张等一些文友处闲聊，便去找沈九娘那里，听她婉言相劝，心情大好，便想回来与方氏讲和。但方氏心里己有了他人，岂肯就此罢休。伯虎烦恼之际，便信手写点词曲送给沈九娘，让她弹唱。不料有一首底稿竟然让方氏翻到了。伯虎那日回家，见方氏满脸怒容，便问：“夫人何故发怒？”方氏取出一张折皱的花笺，且冷眼看了他一眼说道：“这阗《园林好》和散曲可是唐解元所作？”伯虎看去，花笺上有这么三句：“冤家莫把人辜负，早会合成共一处，莫教我凤只鸾孤。”他当即答道：“这是我前几日所作，夫人也爱这曲儿？”方氏突然问道：“官人想纳妾否？”伯虎一愣，说：“这话从何说起？”方氏冷笑说：“不必瞒我了，你既然与沈九娘有情，就该和我早说，让我成全了你们。”伯虎说：“我虽常去风月楼，只把她当作朋友，有时也把她当作活仕女的范本，岂有纳妾之意。”方氏指着花笺说：“不要诓赖了。”伯虎呵呵一笑说：“文人作词，寄托情感，哪有所指。”尽管唐寅再三解释，方氏只是啼哭，说：“我原指望和你琴瑟和谐，共享受荣华，谁知你功名无望，又留恋勾栏，与这种不要脸的舞妓混在一起！”方氏这话才落，唐寅却猛地一拍桌子，骂道：“滚！你给我滚出去！”