1926年10月,张灵甫从黄埔军校毕业,被分配到第一军第二师当见习军官,旋任一团二营三连三排排长,随军北伐。一次在同孙传芳所属卢香亭部作战时,张灵甫根据敌强己弱的情况,向营长建议采用夜战偷袭战术,攻敌不备,被采纳。张带全排主动请缨,夜袭卢部大获全胜,张灵甫虽右腿负伤,但以其表现升为连长。
1928年秋,第一军驻徐州九里山,奉命缩编为陆军第一师。这支部队是蒋介石的家底子,视同己出,是蒋之嫡系亲兵。张灵甫调任该师三旅六团一营二连连长。这期间,参加过中原大战等战役。1931年,升任一师五团三营营长。
1934年,胡宗南任第一师师长,奉蒋介石命令,率部从湖北黄陂追击红四方面军。张灵甫拜为前锋,行动迅速,一度与红军发生白刃战,双方伤亡惨重。战斗结束时受到胡宗南的传令嘉奖,被提升为独立旅一团中校团长,率部进驻甘肃。次年,独立旅与红四方面军激战一周,双方伤亡惨重,旅长丁德隆指挥的1个团损失殆尽,而张灵甫团却保存了实力,再次受到胡宗南的嘉奖。