虽然解除了宰相的职务，但他的封地没有被收回，依然是一方诸侯，按理，安心在家颐养天年，后半辈子倒是没有什么问题，可他想消停消停，却有人不肯放过他，是谁？是六国的君主！
吕不韦是个商人不假，但在秦国从政十多年，已经成为了一名经验丰富的政治家，并积累了非常丰富的人脉关系，这种不可多得的人才哪个国家都想巴结和争取。于是，在他回河南封地的那段日子，各国的使者络绎不绝，纷纷对他表示慰问，有的甚至盛情邀请他出访或担任重要职务，可都被吕不韦一一委婉拒绝了。
其实，吕不韦非常清楚，各诸侯国这么给面子，无非一个目的：大家都认为他是秦王嬴政的亲生父亲，按理儿子是不会杀亲生父亲的，他迟早会受到重用，即使不受到重用，如果能邀请他到本国任职，秦国便会投鼠忌器，不会那么快来攻打自己的国家。
吕不韦之所以回绝这些国家的邀请，一方面是看透了这些国家的用意，另一方面还是希望嬴政某天会回心转意将他迎回朝廷，谋求东山再起。
可愿望是美好的，现实却是残酷。当各国使者络绎不绝地前往慰问吕不韦的消息传回都城后，却引起了一个人的注意，这个人便是昌平君。
自从吕不韦被免去宰相一职后，昌平君如愿地坐上了那把梦寐以求的大交椅，成为一人之下万人之上的秦国第二把手。不过，美中不足的是，秦王并没有像处理嫪毐那样，置他于死地，而是将他赶回封地，这让昌平君很不放心：如果有朝一日秦王改变主意了，重新启用吕不韦，自己岂不是白忙活了？刚好这几天他听到了各国使者慰问吕不韦这个消息，不禁大喜过望，自己正愁着没有机会踩他几脚，不想他自己竟送上门来，这不正应了那句“不作死便不会死”的老话么？
第二天上朝，昌平君便急不可耐地参了吕不韦一本：“听说文信侯回到封地后，并没有好好反省，而是大宴各国使者，依老臣看，其并不安份，大王应及早防备才对。”
秦王嬴政一听，不禁勃然大怒：“难道食邑十万户还满足不了他的胃口，还想造反不成？”
自从秦王从赵太后的口中得知自己不是吕不韦的亲生儿子后，虽然安心了不少，但多少还是有点怀疑。本来，他是不想要吕不韦的命的，但现在看来，此人不除，对自己迟早是个威胁。可如果杀了吕不韦，又怕世人骂他弑父，因为两人是父子关系这个传闻外面传得太盛了，他背不起这个骂名，怎么办？他想到了赵高。
这天散朝后，秦王嬴政便召赵高进宫。
“爱卿可否陪我下盘棋？”
赵高满头大汗地跑进宫，以为发生了什么大事，可听到秦王这么一说，不禁有点哭笑不得：“大王召我过来，就是为了下盘棋？”
“对啊！不可以么？”秦王闷闷不乐地问。
“可您半年都没叫我下棋了~”赵高呶呶嘴，提醒说。
“有这么久么？”秦王故作记不起来的样子，瞪大眼睛问。
赵高笑了笑，拿来棋盘摆开来，问：”大王，这次是您先还是我先？“
”你先，你先！“秦王一边说一边挽起袖子，拿起一颗黑子。
”那我就不客气了！“赵高抄起一颗白子，随手放到棋盘的中宫。
“这可不像你以往的风格啊！”秦王见他一上来便占了中宫，有点拿不定主意该将子放在哪好。
“该出手时就出手嘛，这叫直捣黄龙！”赵高笑嘻嘻地说道。
“算你狠！”秦王想了一下，最终还是决定在中宫附近布阵。