西晋时期，统治集团内部矛盾重重。持续十六年之久的“八王之乱”给国家和人民造成了深重的灾难。北方的匈奴贵族刘裕乘机起兵入侵。晋怀帝永嘉三年(公元309年)，匈奴军队两次长驱直入，一直打到西晋都城洛阳，但都被西晋军队击退。

面对动荡不安的时局，卫玠决心把家迁往南方。他的哥哥卫zǎo在朝廷担任官职，母亲不忍心和卫zǎo分离，卫玠劝她要以家庭大计为重，终于说服母亲同意南迁。卫玠告别哥哥，离开洛阳，带着母亲和妻子一起南下。

卫玠一向体弱多病，一路上步途跋涉，餐风饮露，经受了千辛万苦。在将要渡长江的时候，他的神情容貌都显得憔悴不堪。他对左右的人说：“见到这白茫茫的江水，心里不由得百感交集。只要是一个有感情的人，又有谁能排遣这万千的思绪和感慨呢!”