刘灵助如逢大赦，赶紧藏好包袱奔出洛阳城。走到黄河边，举目无亲，他一时不知何去何从，因听说那北方有个叫尔朱荣的，是个豪杰，正不拘出身不论格调，招纳人才，以平六镇之叛。想到自己经纶饱学，自恃才高八斗，却在洛阳混不到一官半职，反而因言语而遭此大祸。世胄蹑高位，英俊沉下僚，古来如此。罢也罢也，京城不是他这种出身寒贱之人能呆的地方，还是趁早做他计，遂买了匹马，打马往北方投尔朱荣去了。
这尔朱荣见了刘灵助，听他言谈机敏，聪慧渊博，天文地理无所不通，又会占卜，又会观星象。尔朱荣常年在北方，粗人一个，哪见过这种人才，顿时十分欣赏，又听刘灵助讲了在洛阳受的冤狱，大是不愤。刘灵助不敢提替元顺解梦及元子攸的事，怕再惹祸上身，只说京兆尹元徽陷害他入狱，对他严刑拷打，又牵连其亲人。尔朱荣本就跟元徽那帮洛阳贵族不对付，听闻此事，便痛骂元徽，此后便将刘灵助引为心腹，让他留在自己的帐下从事，给自己出谋划策。
有人听说了此事，暗中贿赂元子攸的管家，向元子攸献重金请求官爵。这管家仗着主人信任，竟瞒着元子攸私自昧下重金，后被别的家人告到元子攸耳里。元子攸大怒，将其打了一顿，逐出家门。这人怀恨在心，竟投到高阳王元雍的门下，出卖了元子攸许多秘密。连之前高恭之和杨宽的事，一并给抖搂了出去。元雍本就不喜元子攸，便背地里在太后面前进言，说元子攸如何如何贪贿，如何如何心怀不轨，如何如何放走了杨宽。都是些捕风捉影的话，并没有证据。然而太后听了多少有些嫌恶。太后本就嫌他是元诩的亲信，自此便不喜元子攸。不久，有人上奏弹劾元子讷在藩地有不轨之心，元子讷丢了官爵，被看守在封地。元子攸也受了牵连，免去侍中、中军将军之职，转任卫将军、左光禄大夫、中书监。实际上将他调离了朝廷权力中心，又解了他兵权。
元子攸求见元诩，元诩不见。求见太后，太后也不见，只是态度冷漠地让内监传话给他，话里只有四个字：“好自为之。”元子攸并不晓得是有人在太后面前进谗，只当是受兄长牵连，因此闷闷不乐。他一面担心兄长的近况，一面暗自疑惑。朝廷此时又不断派人来催促他就藩，意是不许他留在京中。元子攸写信给元诩，请求罢去他官职，让他留在京中，元诩没有回复。元子攸预料到事情要不好，于是暗暗清点家资，将贵重钱财找人托寄，一面收拾行李准备离京。
高乾得到消息，来家中找他。元子攸苦笑：“我得去长乐郡就藩，以后怕不能再回洛阳了。这几日正想找机会跟你道别。”
高乾问道：“年前还好好的，怎么突然这样。你见到皇上了吗？”
元子攸道：“皆因家兄的事。家兄遭了弹劾，现在被禁足在封地，寸步不得出，是祸是福还不知。我和子正也受到了牵连。好在皇上看在往日情分，没有太为难我，只是让我回封地。我在洛阳生活了十几年，本不想去，而今不得不走。”
高乾有些失望，没想到两人才刚刚相处不久，就又要分别。高乾道：“你走了，这边宅子怎么办？家人要都带去吗？”
元子攸道：“宅子留着，让家人看守，就不卖了。李氏和长乐要跟我去封地，其他人都不带。路太远了，来回不方便。”
元子攸在京中这几年，颇得了些积蓄。他平常节俭，不大花钱，金银珠宝等家资倒有好几大箱子。他寻思着带走麻烦，