南开大学校长张伯苓，早在创办天津南开中学后，就确立了“体育为先”的教育理念。强调教育里若无体育，则教育难算完善，为此大力倡导田径、球类等现代体育运动。

1907年天津青年会第五届学校运动会闭幕式上，张伯苓发表了题为《雅典的奥运会》的演说，介绍了古代奥运会的源起、现代奥运会的复兴，他说：“此次运动会的成功，使我对吾国选手，在不久的将来参加奥运会充满了希望……在此，我呼吁我们的运动员加紧准备，筹建奥运会代表队，争取早日出现在奥运会的赛场上。”

此后，张伯苓继续以宣传奥运为己任，为中国早日走进奥运不遗余力。

1908年8月，他趁着去欧洲考察教育的机会，前往伦敦观看了第四届奥运会比赛，并参观了先进的比赛场馆及体育设施，大受启发与鼓舞。回国后向师生介绍了伦敦奥运会的盛况及观感，绘声绘色，令师生心往神驰。

1909年10月，“南开”与天津青年会联合年度运动会。发奖仪式上，张伯苓以《中国与国际奥委会》为题再作激情演讲，使青年们更广泛而又深刻地了解奥林匹克运动及其精神。

为了推动奥林匹克运动在中国的开展，张伯苓与体坛名流王正廷等，联合菲律宾、日本体育界人士，策划轮流举办了“远东运动会”，他还担任过第二、三、九届远东运动会的中国领队。远东运动会采用奥运会的比赛项目与规则，因而被国际奥委会承认为区域性国际体育组织与赛事，舆论称之为“远东奥林匹克运动会”。

1922年，中华业余运动联合会，张伯苓当选为会长。1924年5月，第三届全运会在武昌举行时，已是南开大学校长的张伯苓利用其影响，与王正廷等倡议组织一个全国性的体育组织。8月间，“中华全国体育协进会”（简称“体协”）成立，他被推举为名誉会长。

1931年，国际奥委会承认中国“体协”为中国的国家奥委会，标志着中国从此成为国际奥委会大家庭中一员，张伯苓功不可没。