1938年10月，光未然（张光年）带领抗敌演剧队第三队30余名青年奔赴晋西、吕梁前线慰问演出。途中，惊天动地、勇往直前的黄河以及黄河船夫们与狂风恶浪激烈搏斗的情景，特别是高亢、悠扬的船工号子，使他产生了创作的冲动，便在心中酝酿着写一首歌颂黄河、赞美中华的长诗。

1939年1月，光未然受伤后被送往延安治疗。抵达延安后，在延安鲁艺音乐系任教的冼星海前来探望，并向光未然提出请他写一部合唱歌词的愿望。光未然欣然接受，仅用5天就创作完成了八个段落、四百多行的长诗《黄河吟》。不久，演剧三队在驻地西北旅社的窑洞里举办诗歌朗诵会，特别邀请了冼星海参加。会上，光未然朗诵了他刚脱稿的歌词《黄河吟》。冼星海听后非常兴奋。

3月26日至31日，冼星海连续工作6天，完成了这部作品的谱曲，并定名为《黄河大合唱》。3月31日，演剧三队音乐指挥邬析零从冼星海手中拿到手工装订成册的全部清稿。

4月1日起，演剧三队全员立即投入紧张的排练之中。由于当时物资匮乏，缺低音的乐器，大家就用煤油桶做成低音乐器。冼星海又看上了鲁艺音乐系学生李焕之每天系在腰上的一个大号搪瓷缸子。他取下搪瓷缸子，把合唱队员们吃饭的勺子收集一大堆放进缸子，示范性地一摇，让李焕之充当这件“新式打击乐”的演奏员。排练时，当开头的那段朗诵“朋友，你到过黄河吗”结束至“那么你就听听吧”时，冼星海就朝李焕之振臂一挥，李焕之便抱着装满吃饭勺子的大搪瓷缸子奋力猛摇，于是，那密密的“哗啦啦啦”之声伴着管弦锣鼓齐鸣，发出呼啸奔腾的浪涛吼声，引出了合唱队员们“咳哟、划哟”的雄壮歌声。

1939年4月13日晚，《黄河大合唱》在延安陕北公学礼堂首演，这也是演剧三队向延安各界的告别演出，观众在千人以上，光未然亲自登台朗诵了《黄河之水天上来》。《黄河大合唱》首演非常成功，赢得了观众热烈而持久的掌声。

5月11日，在庆祝鲁艺成立一周年的音乐会上，冼星海亲自指挥100多人的合唱团演唱了《黄河大合唱》。从此，在延安的各种集会上，到处都可以听到《黄河大合唱》的歌声，也迅速传遍全国。抗战期间，各抗日根据地的文艺团体几乎都演出过这部作品。

《黄河大合唱》在重庆的《新音乐》发表后，更传播到世界各地。1940年，刘良模将乐谱带到美国，由普林斯顿大学合唱团用英语演唱了《黄河大合唱》。1949年，宋庆龄将她亲笔题词的《黄河大合唱》乐谱赠送给加拿大多伦多玛西音乐厅。同年10月24日，联合国成立的庆祝会上，美国黑人男低音歌唱家保罗·罗伯逊用英语演唱了《黄河颂》。此后，《黄河大合唱》又在世界各地许多国家演出，获得了一致好评。