当李隐从庆州得胜而归时，已是五月份了，这场平定杨文干叛乱的战役，时间都花费在了路途上。
而当李隐刚进入长安城的时候，却得知了一个不好的消息：河北之地，爆发叛乱了！
窦建德败亡时，他手下的将领有不少盗窃了仓库中的财物藏起来，待到河北皆归降大唐后，许多人都到了民间安居，但许多却暴虐横行乡里，成了老百姓的祸害，大唐的官吏于是将他们绳之以法，有时用鞭子痛笞他们，因此窦建德的旧将领都惊恐不安。
高雅贤、王小胡的家在州，打算私下带着家财逃跑，官吏发兵追捕他们，高雅贤等人于是逃到曹州，投靠了在这里的范愿。
窦建德救援王世充的时候，以范愿守卫曹州，镇守后方，可见对他的信任，范愿在窦建德旧部中的威望也是很高的。
范愿在接纳高雅贤、王小胡后不久，李渊便下诏征召窦建德的旧将范愿、董康买、曹湛以及高雅贤等人，让他们即日赶赴长安，为大唐效力。
范愿当即召集了窦建德旧部，对他们道：“王世充以洛阳降唐，他的将相大臣王隆、孟孝义等人都遭满门抄斩；我们如果到长安，肯定也逃不脱。自大业十年以来，我们这些人身经百战，早就该死了，现在为什么还吝惜余生，而不用有生之年干一番大事呢？
况且夏王抓住唐的淮安王李神通后，以客人的礼节对待他，而唐捉住夏王后却马上杀了他。我们这些人都受到夏王的厚待，现在不替他报仇，以后怎么见天下的人？”
范愿之言落下后，顿时群雄激愤：
“不为夏王报仇，吾等羞于为人！”
“与其去长安送死，不如反了他娘的！”
“反了，反了！”
范愿见此，满意的点了点头，余生开始策划反叛，经过占卜问神后，要以姓刘的人为首领最为吉利，于是一同到漳南县，去见窦建德的旧将领刘雅，将计划告诉了刘雅。
刘雅却不愿造反，他推辞道：“天下刚刚安定，我正打算在乡下养老渡过余生，不想再起兵了！”
众人听后都很生气，又怕计划被泄露，于是就杀了刘雅。
但杀了刘雅后，范愿等人就发起愁来，想要造反，却找不到人做首领，这真是让人有些苦恼。
这时，高雅贤忽然拍着大腿道：“夏王的老乡窦建德的老乡、汉东公刘黑闼不也姓刘吗？据我所知，他现在就在这漳南隐居！”
众将领听后，便即前去拜见刘黑闼，告诉了他计划，刘黑闼这时正在种菜，听了众人的计划后，便欣然从命了。
刘黑闼当即杀了耕牛和众将领一同边吃边商定大计，集合了一百人后，率先袭击并占领了漳南县。
十二日，刘黑闼攻陷县，唐魏州刺史权威、贝州刺史戴元祥和他交战，均失败身亡，刘黑闼重新得到他原来的残部及全部武器装备。
这时，窦建德的旧部陆续有人前去投奔刘黑闼，刘黑闼拥有了三千人马，在漳南筑坛，祭奠窦建德，向窦建德的亡魂报告他们起兵的意图，之后，刘黑闼自称大将军。
随后，刘黑闼又率军队攻陷历亭县，捉住了大唐的屯卫将军王行敏，让他行礼，王行敏拒不参拜，于是被刘黑闼所杀。
当时，各道如若有战事就设置行台尚书省，无战事就停罢，唐朝廷得知刘黑闼作乱，于是在州设置了山东行台，在魏、冀、定、沧等州都设置了总管府。二十二日，李渊任命淮安王李神通为山东道行台右仆射，主持讨伐刘黑闼之事。
之后，李渊还下诏调发关中三千步骑兵，由将军秦武通、定州总管李玄通率领