刘裕参军后，第一个上任的是司马懿，他获得了北府兵将军的称号。隆安三年十一月，孙恩从会稽攻打金，执政党和反对党都感到震惊。刘裕乘此机会转投刘牢之，一个著名的士兵在水中的战斗，并从军队反击。到了三吴年间，宋武帝多次充当先锋，他的军事工作在每一次战胜敌人的战斗中都初露端倪。他不仅战斗勇敢，而且带头，指挥有方，足智多谋，善于以少胜多。刘裕统治军队，纪律严明。刘裕因功勋卓著而被封为建武将军，并领邳为太守。刘裕开始在北府兵展示他的才华。

元兴元年，桓玄发兵，桓温之子，东征建康，杀了司马原宪。刘裕审时度势，暂时投票支持桓玄保持低调。由于刘裕在军队建设上屡创佳绩，他在北府兵旧部颇有声望，所以桓玄不敢小瞧他。次年12月，桓玄篡位，善待刘裕。桓玄常说:“我若想横扫中原，离不开这个人。”。

元兴三年，宋武帝以打猎为名，聚集百余人，在北京攻打并杀死了桓秀。他们推举刘裕为他们的领袖，把消息传到四面八方，各地纷纷响应。由于桓玄的守军大多出身于北府兵，面对刘裕没有斗志，所以刘裕率军出击，用火成功击败桓玄的守军，而桓玄弃城而逃。

那年六月，刘裕杀了桓玄，金安皇帝在江陵复位。

艺兮元年，刘裕收复江陵，驱逐当地桓的军队，并欢迎金安帝从江陵返回建康。恢复东晋。

到了四年，刘裕听了刘的劝说，进入朝鲜商讨接班人事宜。他终于被授予了侍奉中学、骑将军、开府三个师、扬州刺史、嘉州刺史和许的权力。至此，他成了东晋的真正领袖。平定了桓玄的混乱，让刘裕在乱世中崛起，也锻炼了他的智慧。刘裕心中有他自己的策略。他一直知道北方是他自己的战场，北伐战争将在他掌握东晋政权后提上日程。