不过好日子没过多久,贾后垮台了。作为与贾后有密不可分联系的“二十四友”集团也在被打压行列,无奈之下刘琨只得远调外地任职,在那儿他便遇到了自己一生的挚友祖逖。祖逖这人虽然比不得刘琨这样的“官二代”牛气,但也算是一方豪强,阔达豪爽,而且练得一身好武艺。很快刘琨便与这位祖逖成了好哥儿们,刘琨教祖逖文艺,祖逖则教刘琨武功,而他们之间那段“闻鸡起舞”的故事还流传至今,作为劝导小朋友积极向上的教材。
后来朝政又再次转变,刘琨不得不与祖逖分离,离别之时,祖逖向他慷慨激昂地说道:“如果哪天天下大乱,各路豪杰并起,咱哥儿俩一定要在中原开辟一片天地(若四海鼎沸、英雄并起,吾当与足下相避于中原)。”
辞别了祖逖之后,刘琨就接受了之前提到的留守晋阳的任务。虽然在此前刘琨曾经多次击败了刘渊的进攻,但他心里清楚,全山西都是汉国的,就晋阳是自己的,这么下去早晚得出事。如今朝廷是指望不上了,自己只能另寻外援,突然他受了王浚与鲜卑乌桓联合的启发,便想到如果自己也能拉来外族助阵,那么即使像王浚那般与晋朝隔绝开来依旧可以坐断一方。而刘琨自己也在之前向王浚借过鲜卑兵,有过和鲜卑人的交往经验,与他们合作应该不难。经过一番寻觅,刘琨决定找拓跋鲜卑的首领拓跋猗卢合作。拓跋鲜卑有史可查的历史大概可以追溯到拓跋力微时代,当时正值中国的三国初期。