杨玉环的祖上曾是隋朝的显贵，其高祖父杨汪是隋朝的上柱国，吏部尚书，唐初因心中怀念前朝被人诬陷遇难，其曾祖父也曾官位显赫。李唐王朝为稳定天下，将李氏与杨氏的联姻作为天下归心的举措之一，使得弘农杨氏在大唐的风云中依然保持了尊贵的身份。但杨汪这一脉却与门楣荣耀越走越远。 正当杨左拥平步青云之时，杨汪的后人却在耕读传家中逐渐淡出官场。玉环的祖父杨志谦以淡泊名利、修身养性的恬淡之性成了弘农杨氏子弟们敬重的私塾先生，尽管家道并不殷实，但他谦和的处事、和为贵的家训和满腹的经纶，使他与他的家小们都很受族人和十里八乡乡党六亲的尊重。杨左拥回乡祭祖时还特意邀他把盏话族情，后杨左拥为老母迁坟并进行10周年大祭司时，杨志谦写的一篇祭文使他深为其才华所折服，便提出要荐其到翰林院任职的想法，不料杨志谦断然回绝，言称自己和后世子孙都将以耕读传家，不再涉入仕宦之途。 杨左拥在十分吃惊的同时，便在心里升起了无名之火。