到了扬州，地方官员早得了消息，把一行人安排在最好的驿馆里。韦小宝应付了几天官场应酬，瞅着个空就换了便服，带着双儿偷偷回了丽春院。韦春芳见儿子如今成了朝廷大员，穿着锦袍戴着宝石顶子，差点以为自己见了鬼，等反应过来，搂着他哭哭笑笑闹了好半天。
夜里韦小宝索性留在丽春院住下，谁知道消息不知怎么走漏了，跟着他来扬州的苏荃、双儿，还有早些日子被他安排在江南的阿珂、沐剑屏、方怡、曾柔，竟先后寻了过来，连偷偷跟着他溜出宫的建宁公主也摸来了丽春院后门。七个人聚在丽春院的后院，你瞪我我瞪你，脸色一个比一个难看。建宁公主最先炸毛，撸着袖子就要上前揪韦小宝的耳朵，骂他敢背着自己偷跑回扬州找老相好；沐剑屏红着眼眶拽着他的袖子小声问“韦大哥你是不是不想要我了”；方怡冷着脸抱着胳膊在旁冷笑，说早就知道他是个没良心的；阿珂别过脸去抹眼泪，连看都懒得看他；曾柔低着头揪衣角，憋了半天只憋出来一句“韦香主……”；苏荃抱着肩靠在廊柱上，眼神扫过来的时候吓得韦小宝脖子一缩，只剩双儿还站在他旁边，急得连连摆手劝各位姐姐别生气。
韦小宝急得团团转，额头上的汗擦了又冒，心里直骂哪个多嘴的把消息漏了出去，眼角余光瞥见自己行李里还藏着从宫里顺出来的迷春酒，那原是当初打算用来对付天地会对头的，此刻急中生智，哄着众人说“既然都来了，不如喝杯酒再说话，有什么误会咱们当面说开”，趁众人不备悄悄把药下在了酒里，挨个劝着喝了下去。等七个姑娘反应过来的时候，已经腿脚一软挨个倒了下去。韦小宝赶紧喊来两个亲信小厮，千叮咛万嘱咐让他们把人都抬到自己后院房里，转头就看见霍晓川靠在院门口抱着剑，一脸“我没看见我什么都不知道”的表情，韦小宝讪讪地摸了摸鼻子：“那个……霍大哥，我这也是没办法，你可别去皇上那儿告我啊。”霍晓川翻了个白眼，扔下一句“我对你这些男女之事没兴趣，你别闹出人命就行”，转身就回前院练功去了，半点要掺和的意思都没有。这桩丽春院的糊涂公案，后来也成了韦小宝自己私下喝酒时，最常拿出来炫耀的得意事。
第二天一早，迷春酒药力散去，苏荃最先醒过来。她一睁眼就发现和一众女子同床，又见韦小宝站在床边讪笑，勃然大怒，一把揪住韦小宝辫子要动手。其余女子陆续苏醒：阿珂、方怡、沐剑屏、曾柔，还有建宁公主，加上双儿，七个女子挤在一张大床。
众人弄明白昨夜发生的事，当场吵作一团，互相指责拉扯，床上打成一片。韦小宝躲在旁边看热闹，嘴里还打趣“哎各位夫人轻点，打坏了东西要赔的”，正乱的时候，“轰隆”一声，大床直接被众人打塌了。
守在院外的亲兵听见里面尖叫吵闹，还以为出了刺客，冲进门一看，眼前场面惊得目瞪口呆。韦小宝怕事情传出去太丢人，干脆下令，叫亲兵们把这几个姑娘先扶出去，连同打散的行李一起抬到他在扬州的住处「何园」安顿。
回到何园之后，几个女子各自表态：
阿珂悲痛欲绝，心里还是念着郑克塽，宁死不肯从韦小宝，哭着只求放她回去找郑克塽；方怡心里惦记着刘一舟，也想跟着离开；曾柔更是气得红了眼眶，痛骂韦小宝仗着下三滥的手段强人所难，说他和那些欺压百姓的恶官没有两样。
这番话像一盆冷水兜头浇下来，韦小宝本来满心欢喜，被曾柔一席话说得登时黯然。他挠了挠头，心想自己当初是真心喜欢这几个姑娘，可要是靠着这种法子把人强留在身边，那还有什么意思？强扭的瓜不甜，就算人留下了，心也不在自己这儿，何必呢？索性咬咬牙松了口：当场放阿珂去找郑克塽，也放方怡去找刘一舟，分了两包银子给她们做盘缠，半点没有为难。
阿珂没料到他竟这般痛快，愣了愣随即大喜，连声谢都没说，转身就收拾了行李动身。曾柔见韦小宝愿意放人，知道他骨子里还不算坏，还有几分良心，怒气也消了大半，犹豫了半晌，终究是没提走的事。建宁公主闹归闹，本就不可能离开皇宫离开韦小宝，苏荃见他处置得坦荡，也微微点了点头，最后便只剩苏荃、建宁、沐剑屏、双儿和曾柔五人留在了他身边。
韦小宝正感慨着“强留的缘分到底留不住”，盘算着什么时候把剩下的几个人风风光光抬回京城的伯爵府，就见双儿跑得满头是汗地闯了进来——她本是出门替韦小宝买他最爱的酱牛肉和绍兴老酒，方才在街口撞见了正坐着官轿、押着一串犯人招摇过市的吴之荣。