陈巨来说《吴昌硕轶事》：“昌老在七十前，曾纳一妾，未二年，即跟别人不别而行，昌老念念不已，后自作解嘲，笑谓先外舅曰：‘吾情深，她一往。’殊觉风趣也。”与《安持人物琐忆》说吴昌硕风趣相对应，黄裳早年的《珠还集》里也有《吴仓硕小笺》一则，是说缶老当年吃花酒的掌故。
曾经的社交场所，文人和妓女交接是为扬名而自我炒作必需的程序之一。老狂人冒鹤亭与赛金花的缠绵被人传为笑谈，不料螳螂捕蝉，黄雀在后，倒是冒鹤亭反戈一击撰《孽海花闲话》，其中不客气地爆料吴昌硕与赛金花相会的一桩糗事。
《孽海花闲话》雪藏半个多世纪而重出江湖，其中有段小插曲活灵活现：——吴昌硕尝诣彩云，彩云问贵班，曰知县。问何省，曰江苏。彩云笑曰：“我随使节时，你们知县大老爷来禀安，从人展开手本，极似一柄折叠扇也。”昌硕连呼不色头，满座大笑。
衰年变法，齐白石60岁后方修成正果，而吴昌硕比齐白石得名更晚，公元1913年才时来运转，出任西泠印社首任社长。这年，得王一亭之助，老画家迁居到市区吉庆里，初春，吴昌硕在王一亭安排下首度到“六三园”听日本歌妓叶娘鼓琴。翌年，又在该园举办个人画展，从此赢得日本人称“嘉道一人”之誉。是年岁在甲寅，吴昌硕71岁。叶德辉的《观古堂诗集》，有《为魏阜瓯孝廉题其夫人傅彩云墨牡丹画轴，画为箕神作，笔墨颇奇恣。夫人即赛金花》一首，还有记吴昌硕两首：一、《题吴昌硕渊明采菊图》;二、《上海日本领事馆有吉铭招饮六三园，即席赋赠，并呈林出贤次郎、吴昌硕、王一亭诸子》。次一首具体描述了欢会的场景——
客中盛暑苦奔走，海上仙人忽招手。相招剧饮六三园，楼台金碧无纤垢。疏篁古柳夹溪桥，细草幽花杂弓亩。纸窗竹屋画图开，主宾迭坐携尊酒。主人者谁有吉铭，年少狎主牛耳盟。王郎画笔健扛鼎，补景却待唐吴生。诗人坐对林和靖，愧我百艺无一成。掀帷姹女跪进食，远听橐橐停履声。一姝妖冶一肥泽，照眼却似桃李荣。桃李独占春光早，人亦如花长不老。神山本是王母部，时有飞琼出瑶岛。庖有麟脯脍鸾膏，饭熟胡麻果仙枣。主人饕餮客忘归，相逢可惜吾衰老。吾生衰老奚足悲，饮酒且和渊明诗。园中晚景留夕照，况有皓月临清池。四时佳境别朝暮，暮气总被旁人嗤。此间夜市如白昼，返舍不羡挥戈迟。轰雷掣电天又晓，赫赫初日扶桑枝。我歌试谂众佳客，中外禔福今何时。会看天河洗净甲兵气，瀛海如镜腾朝曦。
来燕榭曾深有感慨地说：“吴仓老是近代鼎鼎大名的画家、书家、印人。我也看过几本他的传记，记载的大抵是他怎样刻苦作画、吟诗、刻图章的故事，但对画家生活的全貌却不大清。这张便条使我们知道他有时也吃花酒，就很有价值。好像也不会成为盛德之累。因为他生活在那个时代，无法跳出那个具体环境，这一切原是很自然的。”是的，《上海·爱：名妓、知识分子和娱乐文化(1850-1910)》，这部美国学者叶凯蒂的新著，为黄裳的持平之论提供了有力的学术支持。那个时代，只有在声色场所里纵情游走，文人的作品，才可以获得巨大的广告效应。
叶德辉作为一代名士和藏书大家，还著有《消夏百一诗》《观画百咏》等，均可以作为美术史优秀的参考资料看。恨此公恃才自傲，屡吃不识时务之亏。苏精撰《近代藏书三十家》说观古堂：“辛亥革命时，叶德辉暂避于山中，事定后曾因嘲谑民国，一度为湖南当局逮捕，经王闿运等人营救，转赴上海停留半年才回湘。以后叶德辉经常四处游历，或滞居吴县。民国四年(1915)他被推举为湖南省教育学会会长，又因叶家自光绪中以贩运安化红茶销往俄国致富，进而被推任长沙总商会会长。民国十六年(1927)四月间，共产党在湖南引发农民运动，以打倒地主和土豪劣绅为口号，叶德辉于四月初八日遭到逮捕并公审，十一日处决，年六十四岁。”真可谓“文章太怪伤游戏，知遇难酬负圣明”。叶德辉自己为友人易顺鼎所赋之诗句，反对自己的命运而一语成谶。传说，他写了古怪的丑化笑骂农民协会之对联，一时激怒了红色农运领袖柳直荀，旋被当场判了死刑。作为那个时代的“大谣”，叶德辉最终遭遇“严打”即不足为奇。
齐白石和吴昌硕，都是借助日本人爱其作品而成大名的。当年日本有大批文人由衷崇拜中国文艺，借助于中国书画的杰出作品，为两国友好频频搭桥。而缶老在“六三园”的活动不少，一直持续到他去世的头一年。翻检其存世的画迹与手书，还有《题雪凤画日本仕女》绝句一首也风雅无比：“鬒发如云古锦裳，美人毕竟出东方。倘蒙持赠吾将去，金屋安排黛瑁床。”画在上海书店2009年6月出版的《艺灿扶桑——日本藏吴昌硕作品精粹》中，上海吴昌硕纪念馆编著。
