可是，渔洋离粤北归后，突然对大汕憎恶起来了。他在《香祖笔记》卷九中，再提到大汕时，竟是这样写着：“近吴湖州园次游广州，有僧大汕者，日伺候督抚将军诸监司之门，一日向吴自道酬应杂之苦，吴笑应之曰：‘何不出了家？’座上客皆大噱。”

“吴湖州园次”者吴绮，字次，顺治年间奉诏撰《椒山乐府》，即以杨继盛（椒山）之官官之，由中书擢为兵部武选司员外郎，时人所谓“曲子得官”为唐宋以来所未有。康熙五年出为湖州府知府，因风雅好事而失官，从此游食四方，殁于康熙三十三年。所著《林蕙堂全集》二十六卷，由大汕出资刊行。渔洋举吴绮的幽默语相调侃，似稍欠忠厚。大汕不以吴绮相戏为忤，于其身后，为刊遗集，则其人亦自有可爱之处，转觉其人品比潘稼堂犹高一筹。邓石如为大汕辩护云：其诗清丽，大均以为剽窃。借诗乞句自昔有之，眼前景物，遣辞命意，暗与古合者，亦常有之。大汕固亦列举大均诗之同于太白者矣。如以偷论，则自非阿罗汉，谁能免于偷乎？惟集中河泽行、地震行、剿“贼”行诸篇，悲愤乃同于儒生何也？《离六堂近稿》一卷刻于壬午，老髦及之，不事别择，精粗并陈，未免自累其书，耒之起衅。或云致饩不丰，两书二万余言，竟不惮烦，涉及彼教传法之争，可谓多事，皆刻入《遂初堂集》，后乃删之。

王渔洋之轻诋大汕，据前引文的作者考查原因是：“大汕在海外捐募，得款甚多，有人觊觎他的财富，诬他在海外与志士交通，密谋反清。后来大汕下狱，虽然与此事无关，但难保不是地方大吏，想要治他叛逆之罪，却找不到证据，因而以他事罪之。当流言传到王渔洋耳中时，他想起以前与大汕交游，往还密切，就不免畏惧，怎样才能免被牵连。那只有把他痛诋一番，以见自己并非有心和他要好。”

果如所言，则潘稼堂之“毒骂”大汕，动机或亦为此。潘为顾亭林入室弟子，受“牵连”的可能性过于王渔洋，则“畏惧”亦必更甚，无怪要毒骂了。

当时为大汕抱不平者甚多，如方贞观过长寿庵诗：“野性自应招物议，诸奴未免利吾财。”杭世骏诗：“纷纷志乘无公道，缔造缘何肖此翁？”但大汕的行径，自亦颇有可议之处。邓石如却为之作恕词云：

大凡红襦蓄发，竟体芗泽，买优伶，作秘戏图，祈而止雨，出招帖曰：“石头陀有些风雨出卖。”役鬼召魂、医卜星相，甚至依附势要，以财货奔走人，交通海国诸轶轨之事，务在惊世动众，皆由才情奔放使然。

大汕虽儇薄，毕竟还未到勾引良家妇女的程度，所以被捕后有人为之鸣不平。至于李森先所杀三折和尚，罪有应得。此外，李森先摧折豪强，尚有数事：

有一金姓者，为宰相金之俊宗人，恃势横甚，而家亦豪贵，为暴甚多。前有杀人事未白。李公既来，复聚全吴名妓，考定上下，为胪传体，约于某日，亲赐“出身”自一甲至三甲，诸名妓将次第受赏。虎阜，其唱名处也，将倾城聚观。公廉得之，急收捕，并讯杀人事。决数十，不即死，再鞠，毙之。欢声如雷。

金案实为冤狱。褚人获《坚瓠集》载其事云：

顺治丙申秋，云间沈某来吴，欲定花案，与下堡金又文重华，致两郡名姝五十余人，选虎丘梅花楼为花场，品定高下，以朱云为状元；钱端为榜眼；余华为探花；某某等为二十八宿。彩旗锦，自胥门迎至虎丘，画舫兰桡，倾城游宴。直指李公森先，闻而究治，沈某责放，又文枷责，游示六门，示许被害告理。下堡有严五，于鼎革时取又文饷，已而又文告官，置严五于狱，严妻顾氏因赴诉，刎于直指前。