冯老爷在陈琳和黄药师回门之后，第二天就去了黄府同黄老爷告辞回了终南山，许是因为解决了他闺女的人生大事或者是他担心呆在嘉兴久了会被朝廷发现，于是也不在嘉兴呆下去了。而这个三进的小院则是冯老爷作为陈琳的嫁妆，在之前送嫁妆时抬进了黄府。这嫁妆冯老爷也是有所准备的，当年那几辆驴车就是冯老爷将家财偷偷送进黄府给藏了起来，到陈琳大婚时当做她的嫁妆。
冯老爷走后，陈琳和黄药师先是在黄府过了快一个月的新婚生活。黄府里的黄夫人和黄老爷也不要二人每日到他们那里立规矩请安之类的，也不管他们俩在屋里怎么折腾，毕竟都是过来人，当然也是懂这新婚的小夫妻的心思。
实时快到三月，万物复苏，天气也渐渐回暖，黄药师见时间正好就有心想要带陈琳去一个地方看看，那个地方他也是准备了多年，不过先前也不告诉陈琳要带她去哪，只是要她收拾一番她想要带的东西，二人就告别黄夫人和黄老爷也没带任何丫鬟仆人便出府远行了。
二人从嘉兴府出来后就往东行了去，到了舟山之后，黄药师就雇了一艘海船。到了船上也没直接给那舟子讲去哪里，也只是一路上指点舟子往哪里行去。出畸头洋后，黄药师要那舟子往北走，却不想那舟子忽然瑟瑟发抖不愿往北划去，陈琳对此正觉得奇怪却不想黄药师冷哼一身，那舟子就忽然双膝跪地身子抖得更厉害了。
“若是想活命的话，就将船划过去。”说罢，那舟子觉得自己似乎能站起来了，才微微起身来满头大汗却又不得不老实地将船往北划去，约莫半个时辰，船就接近一小岛，还未上岛陈琳就已闻到海风中夹着扑鼻的花香，远远望去，那小岛上郁郁葱葱，五颜六色的花一团一团的绽放着，端的是繁花似锦。
黄药师对陈琳微微笑道“阿衡，觉得这里的景致如何？”
陈琳看着那美丽的景致叹道“你怎么找到的这个地方？”
小船靠着岸边停下了，黄药师先下了小船又转身将陈琳牵下来，陈琳此时丢了一袋钱给那舟子就撑着黄药师的手下了小船。
那舟子见二人已下了船，赶忙划这桨就走，似乎是不愿在这里停留。这个舟子可是听过许多关于桃花岛的种种传说，说那岛主杀人不长眼，最是喜欢挖人的心肝，一看这二人上岸，就觉着自己得赶紧跑。
陈琳啼笑皆非的看着那逃跑的舟子，也是不明白这小岛到底有何惧怕的，黄药师也是不管那舟子，只是回答陈琳道“这里的花可是我亲自种下的，可是比你那小院里的那些花儿美？”
“你种的？”陈琳转了转眼睛，又看向那些花儿“没想到，相公你还有这番手艺！”
黄药师也不答，只是脸上的笑容更甚，牵着陈琳就往那花丛里走去，走了一小会儿就见着一桃林，二人一会儿往东一会儿往西，将陈琳绕得眼花，等陈琳回头想看来时的路时却发现先前走过的地方景色变了却不是先前那般。于是她又看向前方，却是发现东南西北都有小径，也是不知道该往哪里走，若不是黄药师一直拉着她带着她走，说不定还得迷失在这桃林之中。二人大概走了数里，转过了一座山冈，眼前出现了一大片草地，草地的北方是一片竹林。
这片竹林里有一座竹枝搭成的凉亭，这亭上的横额写着“试剑亭”，两旁悬着副对联，正是“桃华影落飞神剑，碧海潮生按玉箫”那两句，亭中放着竹台竹椅，看上去像是新建的没怎么使用过。竹亭的两侧侧并肩耸立两棵大松树，高挺数丈，应当是数百年的老树。
见此情景陈琳忽的觉得十分熟悉，却是想不起来在哪里见过，心里又不自觉的仔