戴笠后来给文强谈起，取忠义救国军这个名字，是因为该部队成员多为青红帮徒众，对传统的忠义思想比对什么国民革命、三民主义更容易接受。
5月底，部队训练告毕，改编为第一、第二两个支队，并建立了忠义救国军总指挥部。先是戴笠自兼总指挥，以后改由前别动队总指挥、桂系将领俞作柏担任总指挥。
初期的两个支队，不久扩大为十个支队和一个行动总队，分驻于武进、江阴、常熟、浦东等地。活动地区主要在苏、浙、皖三省，沿京沪、沪杭两路与长江下游一带。
这时，忠义救国军总指挥部设于第三战区司令长官部所在地，安徽南部屯溪一个官僚地主住宅杨家大院。 文强完成训练整理部队任务后，奉调为忠义救国军总部少将政治部主任。
中共领导的新四军军部于1938年春夏间先后迁驻皖南岩寺、太平县、南陵县，最后驻于安徽东南的泾县云岭。与忠义救国军军部隔黄山相望。
这时，这两支同时活跃在江南敌后的新建抗日游击部队，分别由国、共两党领导。抗战初期，国、共合作刚开始形成高潮，尽管仍有不同政见之争，但“兄弟阋于墙，外御其侮”，内部摩擦、冲突尚少。