留异,东阳长山人。长山,后汉县,今浙江金华县。世为郡著姓。异为乡里雄豪,多聚恶少,陵侮贫贱,守宰皆患之。梁代为蟹浦戍主,历晋安、安固二县令。吴东安县,晋改曰晋安,今福建南安县。汉安阳县,晋改曰安固,今浙江瑞安县。侯景之乱,还乡里召募士卒。东阳郡丞与异有隙,异引兵诛之,及其妻子。大守沈巡援台,让郡于异。异使兄子超监知郡事,率兵随巡出都。
及京城陷,异随临城公萧大连。大连板为司马,委以军事。景将宋子仙济浙江,异奔还乡里。寻以其众降于子仙。大连趣东阳之信安岭,后汉新安县,晋改曰信安,今浙江衢县境。欲之鄱阳,异乃为子仙乡道,令执大连。侯景署异为东阳大守,收其妻子为质。刘神茂拒景,异外同神茂,而密契于景。及神茂败绩,为景所诛,异独获免。侯景平后,王僧辩使异慰劳东阳。仍纠合乡闾,保据岩阻。其徒甚盛,州郡惮焉。元帝以为信安令。荆州陷,王僧辩以异为东阳大守。世祖平定会稽,异虽转输粮馈,而拥擅一郡,威福在己。