1924年11月20日，黄埔军校组建了教导团，校长蒋介石、党代表廖仲恺任命军校战术总教官何应钦担任该团团长、王登云为党代表，以黄埔一期毕业生充任各级官佐、干部和党代表。黄埔军校教导团依照苏联红军建制，实行“三三制”原则，团辖3个营，营辖3个连，连辖3个排，团直属包括：特务队、卫生队、侦察队、通讯队、辎重队及机关枪连。教导团编制隶属于黄埔军校，教导团的官佐、干部可以在教导团和黄埔军校教学、行政机构之间进行流动，教导团的教育、管理、官佐薪饷等都由军校来安排和调度。

12月26日，军校又组建教导第二团，由军校教育部主任王柏龄担任团长、张静如为党代表。

对于如何处理好党代表和军事主官的关系，廖仲恺经常到新成立的教导团召集党代表开会，听取工作汇报，帮助解决问题。教导团成立后，“当时党代表与主官因权责之争执”“往往发生感情上之冲突”。

一天，廖仲恺来到教导团二团，召开团军事官长和党代表会。会上，他听取了双方关于在工作中总有“摩擦”的汇报后，没有立即回答，而是问大家：“你们说我与你们的校长（即蒋介石）搞得好不好？”大家说：“很好”。他又问：“何以见得？”大家说：“从未看到您和校长争吵过，校长和您在一起时，总表示出对您尊敬的态度。”

廖仲恺听罢笑着说：“你们说的，既对也不对。我如果10次来校，有8次要争吵，地点在校长家里，没有第三人在场。当他在一些不同意见的问题上，特别是为了学校经费问题，面红耳赤地向我吵闹时，我总是平心静气、一言不发地听他吵，有时还点头称是，等他平静了，不讲了，我问他讲完没有？他有时会笑笑说：‘我讲完了，你也谈谈。’于是我安静地谈了我的意见，谈了我的困难。最后总是他谅解我，听信我的。你们说他尊重我，这不假，但这是我争取来的。”

廖仲恺的话，让在场的人顿生敬意。