太祖开府，拜韩当为卫将军属司马；吕范为卫将军长史；娄圭、戏忠为卫将军从事中郎，王修、枣祗为卫将军令吏，魏越为领官骑。时河内屡遭匪患，闻太祖至，盗贼逃匿，士民鼓舞，沿途见白马辙箪瓢迎之。太祖素闻河内司马直有贤名，即往访之，相谈甚欢。直荐张氏三子范、承、昭，及常林、韩玄、杨俊、王象、韩浩、方悦、郝萌、赵咨、司马朗等，太祖皆辟之。一时俊杰毕集。官寺之中，芝玉遍植；廨房之内，琳琅满目。太祖坐而观之，大喜曰：“河内英杰，尽入吾彀中矣！”
居数月，河内将治。而洛阳南宫罹于祝融，灵帝诏天下纳修宫钱每亩十文。太祖不豫，然尤勉力为之。不数日，又诏各州郡发材木文石，部送京师。太祖大怒，欲抗其乱命，忽闻河北黄巾复起，前钜鹿太守郭典战殁。又闻朝廷迫司马直为钜鹿太守，直不忍为，至孟津，仰药而死。太祖急驰孟津，于河上逢公孙范，言刘宽已薨，后事尽托太祖，有遗书予之。太祖奉书泣涕，乃入洛求辞，灵帝许之。太祖于是遍售洛中产业，得千金，尽沽美酒，言刘师好酒，请往吊者俱饮一觞。扶灵至孟津，将别，与众割瓶对饮，誓不出一文钱买官，而终将复还，廓清朝廷。时袁绍在侧，闻而大异之，遂以太祖为劲敌。
太祖往葬宽王屋山下，已毕，自北返辽西，常林、韩浩自请从之。遗卫将军印绶于洛，灵帝遣使追而与之。凡三次，乃受。行至赵国，流民多识白马义从，遂尾随从之，至于逾万。太祖不忍弃之，分义从护之缓行而北。至广阳，从者愈多，太祖虑其老弱者众，不耐辛苦，遂改至昌平屯田，于其地立卫将军府、白马义从驻地及私学。与吕范以下皆自劳作，骈手胝足，夙兴夜寐。抑制豪强，清丈田亩，查察隐户，编练什伍，三年而其地大兴。名士沮宗、杜畿、京泽等，俱往投之。
太祖居广阳，闻凉州反复，傅燮殉难，常自喟叹。稍倾，冀州刺史王芬以许攸为使，言废立之事，太祖怒而斥之。及攸走，太祖临星河而叹，左右或知其意，俱劝：“天子昏乱，遂令君侯不容于朝。今天下已叛，而兵不足自守，幽州乡里被君恩德，愿必从之。当安居广阳，率厉义徒，见有道而辅之，以济天下。”太祖大叹：“天子固昏，然关西之乱，傅南容何辜？王芬之悖，冀州百官何苦？兼两地黔首，固多牵累，当有所为。”左右遂止。
中平五年，冬，大将军何进以信与太祖，言失兵权，或碍诛宦事，太祖闻之，自引私兵轻骑至河内，洛中北军、西园多太祖旧部，纷纷来谒。洛中宦官闻之，乃语于灵帝，以诏付司隶校尉张温，使其诏太祖入洛。及至，太祖悬剑于辕门，张温见而叹之，竟羞惭而走。十月，灵帝阅兵平乐观，终不能胜，进乃重掌兵权。
十一月，凉州贼十万入三辅，直逼长安。进以贼悍，非名将不可胜，乃雪夜过河往请太祖。感其诚，许之。遂拜太祖为将，诏发三河五校，整军两万余西讨。闻太尉府兵曹掾贾诩善谋略，征为军司马，掌军律。五校阉宦子弟泰半，闻太祖为将，咸恐。至函谷关，有赵忠族弟赵延聚将不至，太祖持节立斩之。军中震动，遂使如臂指。至雍县，合皇甫嵩、董卓军，立营水。坚壁高垒，固守不出，唯多发斥候日探贼动向。
中平六年正月，太祖知贼挫于陈仓，月余不能下，粮尽思退，遂整军至陈仓东立营。时吕范急信至，言幽州乌桓、鲜卑作乱，隔断辽东，张举占管子城僭称天子，太祖默不外传。自与嵩、卓约贼首韩遂、马腾、王国等相会，定以明日交战。临别赠信于遂，行反间之计。初十，以徐荣统全军骑兵，吕布领白马义从为锋，一阵而破贼，斩首逾万。又先遣韩当率两千骑断敌之后，驱贼至渭河。贼蜂拥履冰渡河，冰破，陷死者数千。余众乃降，可三万余。侥幸走脱者不足万数。