匈奴完全掌控了被盗诸国，虽然南道之中还有西域诸国中最强大的莎车国率领南道诸国与匈奴对抗，但大汉已经失去了对西域的掌控，西域都护府就此而罢。
后汉初年，驻河西大将军窦融奉命立莎车王康为“汉莎车建功怀德王、西域大都尉”，莎车国得到大汉支持，便趁机攻略龟兹等西域诸国，西域一片混乱。
与此同时，西域北道诸国皆苦于匈奴敛税重刻，车师前王庭、鄯善、焉耆等十八个君长遣质子入侍，请求大汉向西域派遣都护，与匈奴对抗。但当时刘秀正在稳定中原局势，无暇他顾，没有答应西域诸国请求，厚加赏赐后遣还其侍子。
南道莎车见汉都护不出，便加紧了攻打鄯善、龟兹、于阗等国。于阗王带领诸国反抗，擒杀莎车王贤并灭其地，于阗国继莎车国之后称霸南道。但随后于阗国被匈奴和附属于匈奴的北道诸国联军所击败，被迫接受匈奴使者的监护。
自此之后，整个西域南北道完全隶属于匈奴统治之下，而匈奴复得凭借西域的人力和物力，作为南侵大汉的后方。
明帝时，南匈奴内附，大汉政局稳定、经济恢复，遂转守为攻，进击北匈奴。窦固、耿忠率军自凉州出酒泉塞，击破呼衍王，占领西域门户伊吾卢，设宜禾都尉，留下军队屯田驻守。次年，窦固、耿秉进攻最近的车师后部，后王投降；车师前王为后王之子，亦率众投降。
至此，北匈奴势力退出天山东麓，大汉恢复了西域都护，分驻车师后王部金蒲城和前王部柳中城，恢复通往西域的通道。
不过此时恢复的西域都护不过是前汉都护府最东面的一小部分，仍有大部分在匈奴监护之下。于是，窦固派遣假司马班超出马了，让他联络西域各地的君长，使他们亲汉，而不被匈奴所利用。
班超收复西域之初，没有统军，只带了吏士三十六随从，先到南道鄯善国。鄯善王开始对班超礼敬甚备，后来突然怠慢。班超判断是北匈奴派使者来了，遂连夜用火攻突袭之计消灭了匈奴使者，持其头以示鄯善王，鄯善惧怕，臣服于汉。
班超因降服鄯善有功，升为司马，复受命向西到于阗。此时于阗是南道亲匈奴势力，于阗王对班超礼意甚疏，并且听信妖巫的话，索取班超的马以祀神。班超佯许之，要巫自来取马。及巫至，超即斩其首以送于阗王。于阗王震慑于班超在鄯善的威名，乃杀匈奴使者而降汉。
而后班超又继续沿着南道向西到疏勒。疏勒王兜题是龟兹所立，非本国人，是北匈奴的党羽，在匈奴的支持下，残酷压迫疏勒人。班超掌握了这个情况，派使者出其不意地将兜题抓获，另立疏勒前王之侄忠为王，解除了龟兹对疏勒的奴役，于是疏勒也归附东汉。
至此，中断了六十多年的丝绸之路恢复了南道。
奴失去西域，势所必争。永平十八年三月，北匈奴发动骑兵二万，跨过天山反攻车师，包围金蒲城和柳中城。
同年，汉明帝去世，北道焉耆国乘汉朝大丧的机会，攻杀西域都护陈睦。而龟兹、姑墨等国也屡屡发兵进攻疏勒，班超与疏勒王忠互为犄角，首尾呼应，在盘橐城据守。北匈奴又策反车师国，戊己校尉耿恭也被围困。
次年，也就是建初元年正月，新继位的章帝派耿秉屯兵酒泉，发张掖、酒泉、敦煌三郡兵及西域鄯善等地兵出援，会师柳中，大败车师和北匈奴，车师复降。
但由于当年武陵、益州叛乱频发，地震等天