小太子赵旉感染疟疾，在建康行宫治病期间，宫女不小心踢翻了炭炉，竟将这不到三岁的小儿活活吓死。赵构和潘贤妃处死了这名闯下大祸的宫女，哀哭三日，悲痛欲绝。

    从扬州、镇江、到杭州，再到越州、明州、定海，这是赵构生来最凄惨的时光。偌大的河山，竟无他大宋皇帝半分立锥之地，他食不能寐夜不安枕，往往是才闭上眼睛，金兵追至的军报又传了过来，时时担惊受怕，片刻不得安宁。

    金兀术率领四千轻骑，咄咄逼人，从长江边一直追赶赵构到东海。宋哲宗孟太后带着潘贤妃、文官等另行逃亡，赵构身边仅剩几名内侍，上天无路入地无门，唯有乘坐小船漂泊海上。金军阴魂不散，直直追出数百里。若不是海上起了大雾风暴，而金人不擅海战，又遭遇了宋朝水师的狙击，金兀术下令收手，撤回岸边，赵构怎么都难以逃出生天。

    由于马匹缺少粮草，长时间的孤军深入也非长久之计，金人一波波的攻击，终于慢慢平息下来。建炎四年夏，确定完颜宗弼从江南撤兵后，赵构才回到越州，并将越州升为绍兴府，因绍兴府漕运不济，后又移跸临安，一切从简，始建皇城。