众人觉得既然刘琮已经投降，樊城与襄阳一河之隔，是非之地不可久留，必须尽快撤走。如不尽早撤退，到时，曹操若与刘琮两面夹击，我军就危险了，樊城区区弹丸之地，如何抵挡曹操大军，樊城难以固守，三十六计走为上计，留得青山在、不怕没柴烧。
诸葛亮也劝刘备快走，樊城危险。但撤到哪里？大家的意见一致——江陵。江陵城是荆州的军事重镇，位于长江北岸，控制着水道，城高池深，可以长期坚守。江陵还是荆州的钱粮物资储备基地，刘表在世时在此地囤积了大量的军事物资。
刘备、诸葛亮率领部队有序撤出樊城。樊城百姓听说刘备要走，也都扶老携幼追随刘备南撤。
路过襄阳时，有人建议刘备袭取襄阳全据荆州对抗曹操。
但此时曹军已逼近襄阳，这时攻下襄阳容易，但守住很难。襄阳城被蔡瑁等亲曹派控制，手上有数万精兵。虽然城中有不少人倾心于刘琦、刘备，但襄阳并不好打，加之曹军随时会来，这时即使攻下襄阳也守不住，不如早些远离是非之地。
荆州人心已乱，这时，许多不愿降曹的荆州军民也纷纷加入刘备的撤退大军，跟着刘备走。一路上加入队伍的人越来越多，很多地方豪族也加入逃亡人群，大小车辆装着行李一路向南，这么多百姓扶老携幼，自然走不快，每天只能走十几里。
