文/吴文峻

ChatGPT是由OpenAI开发的一款人工智能聊天机器人程序，于2022年11月推出。它可以通过自然文本对话方式和人类进行聊天交流，能够用于处理各种语言任务，例如：回答提问、撰写文案、翻译及编写代码等。由于ChatGPT展现了非常类似人类的语言理解和对话交互能力，一经发布，就引发了全球网民的广泛关注和试用。在短短两个月的时间里，其用户就达到一亿，爆红速度远远超过历史上互联网用户扩张速度。由此可以说，ChatGPT当之无愧成为岁末年初现象级的人工智能成果，对互联网的产业生态产生重大影响。

凝聚最新人工智能研究成果

实现关键技术集成与迭代优化

ChatGPT有何特殊之处？先来回顾一下它的开发历程。

ChatGPT是OpenAI综合集成了最新人工智能的技术成果而开发完成的，其核心技术主要包括：基于GPT-3.5架构的大型语言模型、基于提示的模型微调和人机交互式强化学习等。

大规模预训练语言模型是最近5年来自然语言处理与深度学习领域方面最受关注的技术之一。它的作用简单来说就是你用自然语言和他对话，他转换成机器听得懂的语言做处理，处理完再把结果转换成人类语言交给你。

但传统的自然语言处理往往参数规模不太多，只具备面向特定任务的预测或分类功能。2017年，Google提出了Transformer的神经网络架构，并用它来构造语言模型，为大规模语言模型的诞生奠定了基础。随后的4年间，OpenAI公司研发了GPT（Generative Pre-trained Transformer）系列的三个预训练语言模型，受到业界的广泛关注。

2018年6月，OpenAI推出GPT-1，使用了5GB的预训练数据，参数量达到1.17亿；2019年2月，发布GPT-2，使用了40GB的预训练数据，参数量达到15亿；2020年5月，继续推出GPT-3，使用了45TB的预训练数据（3000亿语料），参数量达到1750亿；2022年11月，推出ChatGPT，也被称为GPT-3.5。

这些预训练语言模型就像一个巨大的语言库，为各种语言能力的涌现提供了基础。就像一个人博闻强记、见多识广，就具有很强的语言表达、抽象归纳、联想类比等能力。已经有研究表明，GPT-3模型可以展现137项语言能力，而且有些能力只有在模型规模超过一定的阈值，才能涌现出来。

GPT系列的模型训练一般包括两阶段：第一个阶段，利用语言模型进行预训练，从海量文本中提取词义、词法、句法结构、甚至常识知识等信息，都沉淀到模型参数当中；第二个阶段，通过微调模式，以很少的样例让模型的潜力得以定向释放，解决各类下游任务。

起初，对于预训练模型的微调，需要再收集新的标注数据，并对模型参数进行重新训练调整。所以当模型体量不断增大时，重新调整的代价也在不断上涨，同时多样性的下游任务也使得预训练和微调阶段的设计变得烦琐。为此，新技术引入了提示词的微调方法，通过针对具体任务的句子示例或引导，使得模型以轻巧的方式完成微调。

如今，提示词的设计和收集成为大模型领域的热点，甚至被称为生成式人工智能的“魔法咒语”。只有构造出精巧的提示实例，才能解锁大模型潜藏的特定语言能力，使其具备在合适的对话情境下，生成恰当的回答。

ChatGPT的第三个关键技术，是采用了人类反馈的强化学习技术，通过用户和智能体的交互，获取奖励而提升能力的方法。

其实这项技术也是Google发明的，2016年的DeepMind公司推出的AlphaGo围棋AI，就采用了强化学习来提升下棋策略。

2022年2月，OpenAI发布了InstructGPT模型，这是ChatGPT的前身。该模型试图让人类对GPT回答进行评价排名，并基于这种反馈排名训练奖励函数，从而引导GPT能输出更符合人类偏好的结果。

InstructGPT模型在加入这一技术后，遵循人类指令方面比原先的GPT-3做得更好，能够产生更像人类自然对话的结果。同时它还能把人类对话中需要避免的社会偏见，所遵循的价值取向等吸取进去，以防止出现GPT发表类似仇恨言论等问题。

需要指出的是，这些关键的技术很多都不是OpenAI的原创，但是作为新型的科技企业，它非常好地实现了这些技术集成与迭代优化，取得了重大突破。

开启通用化人工智能途径

加速互联网生态智能化进程

作为人工智能发展的标志性成果，ChatGPT对当下的人工智能产业，乃至互联网生态具有重要影响。

一是开启了从“专用”人工智能走向“通用”人工智能的通道。

ChatGPT出色的对话表现，证明预训练大模型可以具备一定的通用化自然语言处理能力，昭示着人工智能正在从面向特定领域、特定任务专用型AI走向通用型多任务AI。目前已经有不少研究试图沿用ChatGPT的预训练-提示这种模式，来构造计算机视觉、博弈决策等领域的人工智能技术。未来或许在这些领域也将出现以大模型作为基座、大量小模型作为应用的通用化人工智能生态。

二是对互联网的人机交互产生颠覆性的影响。

ChatGPT也会对搜索为主的互联网人机交互模式产生重要而深远的影响。

当前互联网后台的服务程序通常以结构化的界面方式与人交互，在信息搜索中，只能提供大致相关的网页内容，供人们浏览和检索。而ChatGPT的自然交互对话交互将逐步替代这种搜索服务模式，代之以更加自然的、拟人化精准服务，并且对其他类型的互联网服务也会产生深远影响，加速整个互联网生态向智能化方向转变。

完善人工智能治理

防止ChatGPT滥用

ChatGPT让人类与机器人的对话更加“自然”，催生了自然语言交互时代的到来。但是由于其自身的不足，也存在被人们误用和滥用的风险，会给人工智能伦理规范和治理带来全新挑战。

一方面，ChatGPT作为一类生成技术，容易输出与事实逻辑不一致的错误内容。而且ChatGPT由于模型更新代价大，目前还无法及时更新当前的资讯内容。在实际应用场景中，如果只依赖ChatGPT的回答，不进行事实检查，就会导致许多谬误。另一方面，ChatGPT这个智能工具很容易用在伪造信息、内容作弊等，如何有效应对这些挑战，使其发挥积极作用，仍然值得关注和研究。

我国在相关方面已有较好技术积累

鉴于预训练语言模型的重大意义，国内华为、阿里巴巴、百度及众多院校等科研机构纷纷加入研发赛道。

2021年，华为与鹏城实验室合作推出千亿参数的盘古大模型，北京智源人工智能研究院推出了1.75万亿参数的悟道2.0，百度与鹏城实验室合作推出2600亿参数的文心大模型等。这些模型目前虽然还无法达到ChatGPT的对话水平，但是与GPT系列的其他模型相比，在很多语言任务也能达到或超过其表现。

由此可见，我国在自然语言大模型方面已经有较好的技术积累，预计将会很快推出达到ChatGPT性能的新模型。特别是结合中国特色的应用场景，汇聚优质的海量中文语料和知识资源，培育面向我国互联网用户交互的预训练大模型，支撑各类智能应用的广泛落地，从而形成全新的智能应用生态和产业链。

（作者系北京航空航天大学人工智能研究院教授）