全面抗战爆发后，中共中央立即通电全国，号召全国军民团结起来，筑成抗日民族统一战线的坚固长城，抵抗日本侵略者。山东省汶上县的爱国知识分子曹志尚、刘启文等人受其影响，利用在教育界的工作之便，以汶上县县城内的力生文化合作社为联络点，联络各方志士，秘密酝酿抗日救亡活动。

当时，在济南齐光中学任教的陈伯衡也随济南流亡师生南撤，经汶上时，他听说旧友刘启文、曹志尚等准备组织抗日队伍，遂产生了强烈共鸣，便毅然决定留在汶上进行抗日活动。

为便于接纳、组织同志，陈伯衡等秘密成立了“民族解放社”（主要吸收爱国知识分子）和“农民福利会”（主要吸收进步农民），并很快发展到500余人。

陈伯衡、刘启文、曹志尚等认为：要想真正抗日救国，只有听从共产党的领导。经商议，大家公推陈伯衡去寻找共产党人来汶上领导抗日。1937年11月初，陈伯衡通过中国共产党的外围组织“民先”的关系，找到了中共鲁西南地下工委成员江明。江明热情称赞了汶上义士们的爱国主义精神，当即决定派遣共产党员刘星，以中华民族抗日解放先锋队的名义，协助陈伯衡等组织骨干，发动起义。

刘星与陈伯衡一同回到汶上，住在陈伯衡家中，详细听取了陈伯衡等人的汇报，首先向领导骨干们传达了中共中央关于“有枪出枪、有粮出粮、有钱出钱”，建立最广泛的抗日民族统一战线方针和中共山东省委制订的抗日游击队十条纲领等，继之部署他们分赴各区进一步扩大动员，筹备枪支弹药，并决定将民族解放社、农民福利会合并入中华民族抗日解放先锋队。

1938年1月14日，刘星、陈伯衡等在战湾村王相三酒店（此时力生合作社已由县城城内迁至此地）召开了部分领导骨干会议，决定了举行武装起义的时间、地点及有关事项。会后，大家分头行动，走村串户，从人员、枪支、钱财等方面，做了大量动员筹备工作，并先后在张场小学、战湾村召开两次骨干分子会议，商讨武装起义事项。陈伯衡和刘星还去了东平县，与东平地方党组织取得了联系，在人员和枪支弹药方面得到了支持。

1938年1月，日军200余人占领了汶上县城。2月5日，汶上、东平两县爱国志士放弃春节团聚，化装携带各自动员或买来的武器，从四面八方奔向原汶上县老七区申垓村的永安寺，举行抗日武装起义。参加起义的有教师、学生、青年农民、商人、手工业者，也有不愿南逃的国民党士兵。陈伯衡携其侄子陈允桐、陈允梅、陈允枫同时参加起义，自带长枪2支、短枪1支。

起义队伍正式命名为汶上县人民抗日自卫队。刘星分工政治工作，陈伯衡、曹志尚负责军事行政，刘启文负责后勤。2月12日，起义部队在永安寺进行了十余天的军事训练后，进驻群众基础较好的杨集村。

同年3月底，抗日自卫队东渡汶河，攻克了张楼维持会长杨承德的伪据点，缴获步枪七八支。这次战斗，锋芒初试，部队增强了斗志，提高了威信，人员、枪支大大增加。以后，抗日自卫队编为两个中队，一个宣传队。1939年初，陈伯衡、曹志尚先后加入中国共产党。随着队伍不断壮大和斗争需要，汶上抗日自卫队被改编为八路军山东纵队六支队一团。