1928年1月，蒋介石终于发现这一支共产党军队隐藏在范石生军中，便强令范石生逮捕朱德，解除武装。范石生终于不能再掩护这支部队了，但老滇军自有老滇军的义气，范石生不仅没有逮捕朱德，反而派人给他送来几万大洋的路费，并捎来一封亲笔信，信上嘱咐朱德“为了避免部队遭受损失，你们还是要走大路，不要走小路；最后胜利是属于你们的，现在我爱莫能助……”
这时，蒋介石指挥八个团，准备对朱德所部南北夹击，朱德率部连夜冒雨离开。1928年1月12日，朱德率部智取宜章县城。宜章是湘南富庶大县，占领宜章县城后，正式成立工农革命军第一师，朱德任师长，陈毅任党代表，王尔琢任参谋长，蔡协民任政治部主任，部队正式废掉了国民党青天白日旗，改用满天红斧头镰刀旗。在朱德这支红色队伍的支持下，湘南各地纷纷举行暴动，打土豪、分田地，上将萧克、大将黄克诚都是在这一时期加入朱德领导的部队的。1月31日，朱德率部队主力成功打败长沙许克祥两个主力团的进攻，许克祥仅率七八个人化妆逃跑，朱德部队斩获颇丰！接着，朱德师乘胜前进，在湘南地方党组织的配合下，连下郴州、莱阳、资兴、永兴等地，一时间，湘南大地红旗招展，打土豪、分田地、建立苏维埃政府……革命形势一片大好。
正如胡绳老先生所说，这个党，一到了顺境的时候，“极左”思想就会抬头。3月上旬，湘、粤、桂三地军阀联合起来，以九个师和一个军官教导团的兵力，准备从湖南衡阳和广东乐昌，对湘南进行南北夹击。大敌当前，本该众志成诚，而当时驻在共产党郴属特委的省委特派员与湘南特委特派员，却提出一个“极左”的“坚壁清野”的“焦土政策”，即主张把从宜昌到莱阳以及四百公里长的公路两侧各五里内的城镇和农村人口和财产搬走，然后放火烧房、片瓦不留，连郴州城也一样烧掉！这样的昏招自然引起群众的公愤与抵制，就在群众动员大会上，激反的群众开始用刀枪抵制“极左”！一千多名党政军领导干部、党员、农会干部被杀，甚至有两三百名十二三岁的少先队员也悉数被“反水”的农民杀害！后来，住在莱阳的朱德，派陈毅率一个营到郴州平叛，激愤的士兵们与民军又杀掉不少的“反水”的群众。陈毅在郴州主持重新建立了中共郴州县委，自任代理总书记。他召开群众大会承认烧房子是错误的，保证对不明真相受反动分子欺骗的农民一概既往不咎。但大错已然酿成，失去了群众支持的共产党军队、共产党干部及家属，不得不在当地的一片反抗声浪中，被迫向井冈山方向转移，湘南一片大好的革命形势，毁于一旦！据曾志回忆，当时的郴州特委书记夏明震不过二十出头，在群众大会上和其他干部一统被杀害，尸身被剖腹掏心，惨不忍睹。
这一年，中国共产党成立仅仅七年时间，年轻、热情、视死如归，但没有实际经验是这个党当时的主要特点，他们还有很长的路要走，朱德也一样。这一年，朱德四十二岁了，3月份在莱阳，他刚刚与年轻的女共产党员伍若兰结婚。
其实，早在1927年10月底，当朱德率军抵达信丰时，就从赣南特委派来的人口里，得知了毛泽东上井冈山的消息。11月，当进一步得知毛泽东部队的确切消息后，朱德派毛泽东的胞弟毛泽潭，化装前往井冈山寻找毛泽东，希望取得沟通联系。几乎同时，井冈山上的毛泽东得知朱德这支南昌起义的余部在湘南的消息后，也马上派出了与陈毅一同留法的老相识何长工前往寻找联络。终于何长工在广东韶关的犁头铺找到了朱德陈毅的部队。朱德后来回忆说：“在敌人没有向湘南大围剿之前，我们就计划打通安仁、茶陵，以便必要时可向井冈山靠拢。”为将者，未虑胜，先虑败，朱德带兵之人，自然懂得这个道理。
1928年2月5日，国民党军已经在塘村、坪石等地集结完毕，以九个师加一个教导团兵力，准备30日军向朱德所部及农民军发动总攻。大敌当前，湘南特委新任书记杨福涛等地方干部，在郴州良田等地大阅农军，看见几千只高举梭镖粗壮的臂膀、粗豪的喊声，他们决定与来犯的九个师国民党正规军决一死战。朱德陈毅自然不会这样天真，他们经过耐心劝说，终于说服湘南特委一起撤离湘南，并向井冈山转移。
1928年4月24日，朱德与毛泽东在江西宁岗砻市龙江书院正式相见。朱德率领南昌起义余部及湘南农民万余人的到来，使得毛泽东井冈山上的兵力增加五倍以上！根据湘南特委决定，朱毛两部合编为工农革命军第四军，朱德任军长，毛泽东任党代表，下辖两个师一个教导队，陈毅任教导队队长。接着，召开工农革命军第四军党的第一次代表大会，会议选举产生了以毛泽东为书记，朱德、陈毅等为委员的第四军军委。
这期间还有一个小花絮，因为秋收起义没有获得中央委员会的批准，暴动初期损失又很大，而毛泽东又擅自带着部队上井冈山做起了“山大王”，在上海的中共中央委员会从城市观点看到，这个运动一定要失败的，于是决定给予毛泽东开除中央委员的处分。而来传达命令的特派员，上了井冈山后又传达成开除毛泽东党籍！但，井冈山这支千余人的部队又不能没有领头人，于是毛泽东只好尴尬地自任工农革命军第一师师长，师长是带兵的武将，没办法，长发飘飘不修边幅的毛泽东，为此也挎上了盒子枪。据说这是他一生唯一一次挎枪的经历。随着朱德与湘南特委同志的到来，才解除了这场误会。
朱毛两军汇合，军势大振，4月下旬，首战便打败了率领两个团前来进剿的江西国民党二十七军杨如轩部，歼敌大部，缴枪数百支，并且乘胜占领了永新县城。这是国民党军对井冈山根据地的第二次围剿。
1929年5月25日，中共中央颁布了《军事工作大纲》，规定“在割据区域所建立之军队，可正式定名为红军”，自此，中国共产党的军队终于有了自己的名称和旗帜。朱毛的工农革命军第四军也于6月改称红军第四军。在之后的几年里，朱毛红军，名扬天下，成为当时共产党军队的一面最耀眼的旗帜，而朱德，也当之无愧地被人称作“红军之父”。
这一年朱德整整四十二岁，四十二岁，从一个贫苦佃农的儿子，变成滇军小军阀，蓄妻妾、吸鸦片，最后人到中年之时从烟榻上一跃而起，追寻加入共产党革了自己的命，只用了六年时间，他留学欧洲、苏联，回国后受党委托策动军阀造反，最后与毛泽东亲手缔造了一支共产党的军队，朱德的前半生真是过于传奇了！而他之所以成为“红军之父”，一系列偶然之中藏着种种必然因素。
南昌起义失败后，许多比他当时地位高有名气的负责人四散逃去，不是说这些人之后不革命了，而是事起仓促，谁也没经历过这样的失败。按中共当时的理论，无产阶级革命如苏联一样必然会发生在大城市中，而工人阶级是革命的必然领导者和先锋队。这些理论家们恰恰忽略了当时的中国，农村人口占全部人口百分之九十以上这一基本事实。很长一段时间里，上山打游击被视作“流寇主义”而被坚决排斥，因为理论家，他们眼里盯的是法国巴黎公社和苏联十月革命的经验，他们一心想在中国复制这些成功的经验，从而闭上眼睛排斥所有与此不符的理论与行为。而朱德作为一名军人，早在云南中越边境剿匪的时候，大概就关注到游击战争的灵活机动。当在苏联被教官问到回国后有困难怎么办时脱口而出“必要时拖队伍上山”，而中国共产党天才的领袖与理论家毛泽东，如果最初拖部队上山，是因读了《水浒传》打的底子，那么之后几年，“从农村包围城市”“星星之火，可以燎原”等一系列独特的富有中国特色理论与实践的精辟总结，无疑是给当时的中国共产党人和中国革命指出了一条光明之路。
多年之后，中共中央决定以南昌“八一”起义纪念日为建军节，以此来纪念中国共产党人开展武装斗争并最终取得胜利的日子。