大通三年（北魏永安二年，公元529年）四月，当北魏元天穆率军将要攻打邢杲之际，得知元颢和陈庆之的梁军也正在北伐。是先对付邢杲还是先对付陈庆之？元天穆一时也不知如何是好，于是召集文武官员商议此事。

众人都认为邢杲军力强盛，应该先讨伐邢杲，陈庆之只有区区七千人马成不了气候。行台尚书薛琡却不这么认为，他觉得邢杲的军队数量虽多，却是一群乌合之众，不堪一击。反倒是元颢利用宗室的身份号称义举来犯，其势难以推测，薛琡建议应该首先消灭他。但元天穆还是决定听大部分人的意见，加之北魏朝廷也认为元颢、陈庆之势单力薄，不足为虑，便命令元天穆等人先平定齐地邢杲的叛乱，再回师攻打元颢。

结果正是北魏这一战略失误给了陈庆之可乘之机，梁军乘虚径进从铚县出发，轻松攻占了荥城，并很快打到了梁国城。此时北魏守将丘大千手中有七万大军，是陈庆之的十倍，但他却选择分兵，分别构筑了九座城堡以抵抗陈庆之的军队。陈庆之果断选择各个击破，在攻陷三个堡垒后迫使丘大千投降。随后元颢登坛烧柴祷告，在睢阳城南登基即位，改年号为“孝基”。进封陈庆之卫将军、徐州刺史、武都公，继续率军向西直奔洛阳。

北魏济阴王元晖业此时已经率领二万羽林军驻扎在考城企图阻挡梁军。考城四面环水，守备严固，一般人根本无从下手。但陈庆之另辟蹊径，命部下在水面筑垒，轻松攻陷考城俘虏了元晖业。这下子北魏朝廷也感受到了压力，五月丁巳日（初六），北魏命东南道大都督杨昱镇守荥阳，命尚书仆射尔朱世隆镇守虎牢，命侍中尔朱世承镇守。乙丑日（十四日），北魏朝廷更是开始宣布内外实行戒严。

荥阳是挡在陈庆之面前的一块硬骨头，杨昱、西阿王元庆、抚军将军元显恭等率羽林军7万驻守在此。由于荥阳城墙坚固，即便是陈庆之也一时无法攻克。更为糟糕的是，元天穆和骠骑大将军尔朱吐没儿此时也正率大军前后相继来支援荥阳，这下子形势发生逆转，梁军反而陷入了包围之中。

梁军士卒为此都很恐惧，但陈庆之却一点也不紧张。只见他不慌不忙解下马鞍边喂马边告谕将士们说：“我们到这里以来，屠城夺地干了不少。你们大家杀戮人家的父兄、掠取人家的子女，也不计其数了，元天穆的部下，都是我们的仇敌。我军才七千人，而敌军则有三十余万之多，所以眼下之事，大家只有抱着必死之心才有可能免遭杀戮。敌人的骑兵很多，我们不能同他们在野外作战，应当乘他们还没全部到来之时，急速攻下荥阳城而作为据守之处。各位不要再有什么疑虑了，否则就是选择了任人宰割的道路。”

说罢陈庆之亲自擂鼓助战，命将士登城攻坚。此时的梁军早已打了鸡血般勇不可挡，仅击鼓一次，梁军便全部都登上了城墙，攻破了荥阳并俘虏了杨昱。不久后元天穆等人率军包围了荥阳城，陈庆之率三千骑兵背靠荥阳城奋勇作战，最终大败元天穆军。元天穆、尔朱吐没儿都落荒而逃。随即陈庆之又进攻虎牢，尔朱世隆弃城逃走，陈庆之军抓获了北魏东中郎将辛纂。

陈庆之凌厉的攻势让元子攸惊恐不已，为避敌锋芒采纳了中书舍人高道穆的建议于五月乙亥日（二十四日）渡过黄河到河内郡暂避。同时命元天穆和尔朱荣等各自率军前来会合，构成犄角之势，进讨元颢的军队。此时的洛阳城内，临淮王元彧和安丰王元延明，带领文武百官，封存府库，备好法驾迎接元颢。丙子日（二十五日），元颢进入洛阳宫，改年号为建武，大赦天下。元颢任命陈庆之为侍中、车骑大将军，增加封邑一万户。

虽然拿下了洛阳，但形势对元颢和陈庆之来说依旧严峻。元颢的后军都督侯暄镇守睢阳作为后援，却被北魏行台崔孝芬、大都督刁宣率军击杀。另一边元天穆等率四万军队攻下了大梁，又分派费穆带二万人攻打虎牢。元颢只得派陈庆之前去迎敌，陈庆之也不辱使命，率军掩袭重创魏军，元天穆率十余骑北渡黄河而逃。此时费穆距离拿下虎牢也已近在咫尺，但听说元天穆向北渡过了黄河之后觉得自己已经孤立无援，于是便投降了陈庆之。随后陈庆之又率军拿下了大梁、梁国两城。

萧衍闻讯后也再次亲书诏书对陈庆之进行嘉勉。陈庆之和部下皆穿白袍，一路上所向披靡，仅凭数千之众，从铚县出发至洛阳，经历大小四十七战全部获胜，共攻占了三十二座城池，成为了让北魏方面闻风丧胆的存在。