指挥第一军第一、第三师和第六军继续北伐。七月部队改番号为第十八军，他继续任军长不久蒋介石强攻徐州大败，他被任命为国民草命军总司令部淮南行营主任兼总预备队指挥官，负责淮河防御。吧月蒋介石下野前，将北伐第二路军退守长江南岸交他指挥。

龙潭战役后，他指挥第十八军，第十四军，第三十二军渡江追击别传芳，一举攻克扬州、宝应，南通等地。何应钦为控制经济，任命其内兄担任扬州税监一职，他却对何说：“你把这一税收机关夺去我十万官兵吃什么，拒绝从命。”，何应钦不顾他的反抗，用政府命令任命并对他多方牵制，他一怒之下，辞职到〖日〗本去找蒋介石，蒋却怪他不该将部队丢了，让他跟着回国。

一九二八年三月任军事委员会常委兼办公厅主任，旋任第一集团军参谋长，参加二次北伐，五月蒋介石车到泰安，恰逢日军出兵占领济南商埠，杨杰随即打开地图对蒋说：“〖日〗本出兵早在预料之中，应该命令部队绕开济南，继续北上以收北伐全功。蒋左右的吴稚晖，邵力子和陈果夫都赞同此议。使第一集团军顺利到达德州。六月任国民草命军总司令部北平行营主任、北平宪兵学校校长，与冯玉祥、阎锡山周旋。

一九二九年三月任陆海空总司令部行营总参谋长，随蒋介石参加蒋桂战争，十月任南路军行营总参谋长、讨逆军第十军军长兼左翼指挥官，随蒋介石参加蒋冯战争当时西北军代总司令宋哲元东出潼关，发动强大攻势，蒋军整个正面危急登封不守，密县将陷临汝被围，他率徐源泉的第四十七师，王金钰的第四十八师增援，以一部封锁临汝冯军进攻要点，率主力侧击登封，并分兵迂回冯军后方，一举打败冯军，扭转整个战局。

一九三零年二月任洛阳行营主任兼第十军军长，随蒋介石参加蒋唐战争，一九三零年二月任宁、镇、澄、淞四路要塞总司令，五月任第二炮兵集团指挥官、陆海空总司令部总参谋长，随蒋介石参加中原大战，七月中，阎锡山主力渡过黄河袭取济南，冯玉祥也在陇海线上发动攻势，他建议在yòu敌深入，在陇海、津浦两条铁路摆开口袋阵，各个击破冯阎两军。并亲自部署这一战役，他亲自指挥六个师于八月一日向汶上发动总攻，经过五昼夜jī战，傅作义在肥城部消灭一半，戴玉玺部除三千投诚外，悉数阵亡，张会沼部在长清完全溃散。同时，十九路军也在在胶济线将阎军主力王靖国部消灭。他完全赢得了济南会战的胜利。８月，冯玉祥分兵七路，发动规模空前的八月攻势，冯军郑大章的骑兵师甚至攻到蒋介石的指挥部附近，形式非常危急，而蒋介石在附近又没有预备队，形式非常危急，蒋介石准备向归德以南缩短阵地，并电召他来实施退却计划小。他仔细分析了战场形式，认为还不到退却的地步，如果强行后撤，必然导致大败。还说西北军将领偏向稳重，不敢轻率冒进。只要用少数兵力进行反击，敌方就会止步不前。蒋介石依计而行，果然渡过了这次危机，等到十月张学良进兵关内的时候，冯阎军不可避免的走向崩溃的道路。

在这次战争中，他的夫人赵丕欣在上海病故，他未能见最后一面，深感痛心，蒋介石多次安慰：“为国效劳，不顾个人情意，古今少有，你对国家尽到了义务，没能对家庭尽到情义，是忠义两难全。望自我保重，无为悲伤。”，他在上海给夫人开追悼会的时候，蒋介石、宋美龄夫妻亲自前往悼念。后来他又娶了一个南开大学的毕业生胡允文，但不到两年就因xìng格不合而离婚。