1855年初,起义军主动分途撤围。叶名琛乘势反扑,在全省实行了极为恐怖的屠杀政策,先后有十多万起义者和无辜群众惨遭杀害。据时人记载说,仅1855年夏在广州刑场被杀者,即达7.5万人,“其中强半,皆无辜冤死”。“场中流血成渠,道旁无首之尸纵横遍地”,“刑场四围二千码以内,空气恶劣如毒雾”。
撤围的起义军,一部分在何禄带领下转移至湘南,攻占郴州等城。原在粤北活动的陈荣等部亦前往会合。1856年1月,在湘军和湘南团练的大举进攻下,何禄等战死,陈荣等则由茶陵州突入江西境内。原在粤北活动的葛耀明等则早于1855年夏已向江西转进。当年冬,上述进入江西的广东三合会武装与太平军石达开部会合,后即成为太平军中的“花旗”。
陈开、李文茂等则率起义军主力沿西江挺进。1855年3月,克肇庆。5月弃守,而以强大的水师向广西进军。一路经梧州、藤县、平南,进抵浔州府城。广西的天地会武装如黄鼎凤、李文彩等纷纷归附,陈开等人的势力大增。8月26日,攻克浔州府城,改称“秀京”,即以此为首都,建立“大成国”,建元“洪德”。陈开称镇南王(后改平浔王),为大成国最高领袖。李文茂称平靖王,梁培友称平东王,区润称平西王,梁昌称定北王。大成国设置了各级政权,势力最盛时曾控制广西40余州县。1858年春,大成国大举向广西省会桂林进军。清广西巡抚劳崇光被迫向湖南求援。湖南巡抚骆秉章乃调派蒋益澧等率湘军入桂。李文茂所统率的西路军于5月在苏桥战败。6月,弃柳州,改向贵州苗区进发,不久在贵州黎平再次受挫。11月,退返广西。李文茂于怀远县山中呕血而亡。进至阳朔的东路陈开等,在西路败后亦被迫退兵,转取守势。移至1861年(太平天国辛酉十一年,咸丰十一年)8月,大成国军主力遭湘军歼灭。陈开走至贵县被执,解回浔州就义。