南宋庆元二年（1196年）二月，朝中皇帝将赵汝愚罢相，出知福州。这个赵汝愚是当初扶持当今皇帝逼宫登位的人之一，新皇刚即位后就重用了两位扶持他上位的大臣一个是韩侂胄而另一个就是赵汝愚了，任命赵汝愚为宰相，韩侂胄为枢密院都承旨。不过当册立韩夫人为皇后，韩侂胄由此得势。让陈琳不禁感慨这南宋的皇帝怎么都是会被自家老婆给左右，这外戚韩信胄与赵汝愚不和，图谋排斥赵汝愚，就同皇帝说赵汝愚的种种不好又有当今皇后在一旁吹枕头风，就把赵汝愚吹到福州去了。
赵汝愚被贬后，对于南宋的朝野影响很大，反对赵汝愚罢官的人都陆续被窜逐。加上著名理学家朱熹约吏部侍郎彭龟年同劾韩侂胄，韩侂胄却对宋宁宗说朱熹迂阔不可用。由于宁宗信任韩侂胄，朱熹被罢官。临安府城中，与之相关的人家无论大小都被牵连出来不少。一时间临安府城中稍有官职的人家各个自危，深怕神仙打架打到自己头上，连黄老爷都有想要搬家的想法。不过最终还是没搬成，倒是黄老爷跑到在嘉兴去买了一处别院，最为退路。
却不想这一天还真来了，庆元四年（1197年）二月初十，三更半夜的临安府城的城西有户人家忽然着火，当人们反应过来时这火势已经蔓延到了相邻的几个人家。由于，大半夜的人们都在睡觉，直到听见外面有人敲锣喊着火了才急急忙忙的跑出来，但是火势太大，人力扑火也制止不住它蔓延的趋势，就渐渐的将整条街的房屋都烧起来了。黄府就位于临安府城的城西，听到外面说着着火时，陈琳就已经醒了，赶紧把睡在外间的荷香给弄醒，让她去把这庭院中的下人丫鬟叫醒跑出府，就直奔黄夫人房间。幸而这时，黄药师也是府上的，不让陈琳还得去看看黄老爷，陈琳到庭院时就看见了黄药师，二人分别点了一下黄老爷的住处和黄夫人的住处就分开了。她也不顾黄夫人会发现她会武功这事儿，冲进黄夫人屋里将外衣给她穿好就带着她出了黄府。等陈琳成功把黄夫人连同她贴身丫鬟带出黄府时，火势已经蔓延至了黄府，而黄药师那时也将黄老爷带了出来，顺便还提着黄老爷衣衫不整的小妾。陈琳估计这个黄老爷那时，应该在那个小妾那里。
黄夫人此时很惊慌，也没多久府上的下人丫鬟也纷纷跑了出来。
小妾刚出府时，嘴里还骂骂咧咧的一看就外面火势，吓得话都不敢说，娇弱的拉着黄老爷。黄夫人虽说刚刚也十分惊慌，见到仆人后，开始吩咐管事点人救火。这大火直到辰时才灭，临安府城的防火司也对此时进行了各种调查，只是发现最先起火的人家是城西赵汝愚妻族孙氏，而孙氏一族被烧得干净。按常理来说，此时南宋对于火灾进行了严格管理，临安府重要地方专门设置防火、救火机构“防火司”，立望火楼、也就是在地势稍高之处建望火楼，令专人眺望，以便及时发现火情，尽早报警。望火楼下有官舍数间，驻兵五百余人以备救火。但这次的火情却是都已经蔓延之后，百姓自己发现的，朝廷的驻兵之前并未有任何的行动。而这救火之事，也似乎是故意等着那孙府被烧的差不多了才有驻兵出现救火。
幸好，黄府离那里并不近，烧到黄府时府上的人也都纷纷从里面撤离了出来，不过这场大火还是将黄府烧去了一大半，黄夫人的庭院是位于黄府西北侧，也是属于被火烧着的地方。让陈琳感到十分遗憾的是没有将自己做的那些小东西给带出府来。
黄府那样，似乎也是不能够再住了，于是黄老爷决定举家搬迁，毕竟大家都心知肚明那场大火是为什么，黄老爷也是害怕又被殃及鱼池。于是收拾了大半个月，陈琳他们就一起搬到了嘉兴，黄老爷先前买的那个别院里去。
此时的陈琳已快年满