公元３０８年，晉懷帝任命劉琨做并州刺史。那時(shí)候，并州被匈奴兵搶奪殺掠，百姓到處逃亡。劉琨招募了一千多個(gè)兵士，冒著千難萬險(xiǎn)，轉(zhuǎn)戰(zhàn)到了并州的晉陽（今山西太原市西南）。

　　晉陽城里，房屋被焚毀，滿地長著荊棘，到處是一片荒涼。偶然見到一些留下來的百姓，已經(jīng)餓得不像樣子了。

　　劉琨看到這種情況，心里很難過。他命令兵士砍掉荊棘，掩埋尸體，重新把房屋城池都修復(fù)起來。他親自率領(lǐng)兵士守城，防備匈奴兵的襲擊。他還采取計(jì)策，讓匈奴的各部落互相猜疑。后來，有一萬多個(gè)匈奴人投降了劉琨，連漢主劉淵也害怕了，不敢侵犯。

　　劉琨把流亡的百姓都召回來耕種荒地。不到一年時(shí)間，到處可以聽到雞鳴狗叫的聲音，晉陽城漸漸恢復(fù)了繁榮的景象。

　　劉聰攻破洛陽之后，西晉在北方的兵力大多被打散了，只有劉琨還在并州一帶堅(jiān)持戰(zhàn)斗。晉愍帝在長安即位后，派人封劉琨為大將軍，要他統(tǒng)率并州的軍事。

　　那時(shí)候，漢國大將石勒，占據(jù)了襄國（在今河北邢臺西南），集結(jié)了幾十萬大軍，想奪取并州。劉琨南面有劉聰，北面有石勒，前后受敵，處境困難到了極點(diǎn)。可是劉琨沒有害怕，沒有退縮。他在給晉愍帝的一份奏章里說：“臣跟劉聰、石勒，勢不兩立。如果不討平他們，臣決不回朝。”

　　據(jù)說，劉琨在晉陽的時(shí)候，有一次，晉陽被匈奴的騎兵層層包圍。晉陽城里兵力太少，沒有力量打退敵人。大家都感到驚慌，劉琨卻仍然泰然自若。到了傍晚，他登上城樓，在月光下放聲長嘯，聲調(diào)悲壯。匈奴的騎兵聽了，都隨著嘯聲嘆息。半夜里，劉琨又叫人用胡笳（一種樂器）吹起匈奴人的曲調(diào)，勾起了匈奴騎兵對家鄉(xiāng)的懷念，傷感得流下眼淚。天快亮的時(shí)候，城頭的笳聲又響了起來，匈奴兵竟自動(dòng)跑散了。

　　后來，劉琨聯(lián)絡(luò)鮮卑族首領(lǐng)一起進(jìn)攻劉聰，沒有成功。接著，石勒進(jìn)攻樂平（今山西昔陽西南），劉琨派兵去救，被石勒預(yù)先埋伏好的精兵打得幾乎全軍覆沒。正在這個(gè)時(shí)候，又傳來了長安被劉聰攻陷的消息。到了這步田地，盡管劉琨怎樣頑強(qiáng)，也沒法保住并州，只好率領(lǐng)殘兵投奔幽州去了。