1918年，李灿进入湘军当兵，和彭德怀、黄公略相识，三人由于志同道合，成为好友，并一起考入湖南陆军讲武堂学习。

大革命时期，李灿加入国民革命军，投身北伐战争。其间，他积极追求进步，接触共产党人，学习马克思主义理论，确立了为无产阶级和劳动人民的利益奋斗的决心。

大革命失败后，李灿所部被国民党当局改编为国民党军湖南独立第五师，彭德怀任该师第一团团长，李灿任一营二连连长。1928年春，第五师建立了中共的秘密组织。4月，彭德怀加入中国共产党。彭德怀入党后，第一团成立了党的秘密支部，成员有彭德怀、邓萍、张荣生和李光，经支部讨论，又吸收李灿、李力入党。接着，黄公略从黄埔军校毕业归队，并带来共产党员贺国中、黄纯一主持随营学校。第一团的9名党员，很快成立了以彭德怀为书记的团党委，并通过对广大士兵进行革命教育，加强了士兵的团结，提高了全体士兵的政治觉悟。在此基础上，彭德怀召集党员开会，要求从思想上、组织上和物质上做好武装起义的准备。

6月中旬，独立第五师奉命开到湖南平江县镇压当地的工农革命，彭德怀率第一团主力进驻平江县城。7月17日，中共湘鄂赣边特委书记滕代远到达平江，传达了中共湖南省委员会关于准备在必要时举行起义的指示。18日，彭德怀截获了国民党当局准备逮捕黄公略、黄纯一、贺国中的密电。在此紧急情况下，彭德怀、滕代远、邓萍、张荣生、黄纯一、李灿、李力、李光等人于当日晚7时开会，决定在7月22日下午1点钟，乘敌人午睡时举行起义。会后，滕代远和邓萍搬到李灿的住处，进行起义的准备工作。

起义准备期间，李灿带领士兵骨干侦察敌情，摸清了城里敌人的人数、布防和作息时间，同时协助彭德怀撤销了团里个别反动分子的职务。7月21日黄昏，一切准备就绪，李灿命令参加起义的士兵好好休息，自己则回到家中，帮助邓萍连夜赶制起义标语和宣传品。

7月22日中午，起义部队集合在天岳书院前的广场，由李灿向集合的士兵宣布：脱离国民党军队，举行武装起义。说罢，李灿带头除掉大盖帽上的青天白日帽徽，系上红领带。接着，彭德怀向部队宣讲了起义的意义、目的和任务。随后，李灿等人分头率领起义部队攻占城内要点，消灭了顽抗的敌人，解救出被关押的共产党员、革命群众600余人。

起义胜利后，李灿一面带领宣传队张贴布告标语、散发传单，向群众宣传共产党的政策，一面迎接中共平江党组织率领的游击队和黄公略、贺国中领导的起义部队进城会合。随后，中共平江县委和起义部队召开庆祝胜利大会，成立了平江县工农兵苏维埃政府，建立了工农红军第五军，李灿任军委委员兼第一团党代表。同年底，李灿随红五军主力奔赴井冈山。