新闻事件：近日，一篇《警惕！AI诈骗正在全国爆发，有公司老板10分钟内被骗430万元》的视频在网上传播，内容是包头警方发布了一起利用人工智能实施电信诈骗的典型案例。4月20日中午，福州市某科技公司法人代表郭先生的好友突然通过微信视频联系他，称自己的朋友在外地竞标，需要430万元保证金且需公对公账户过账，想要借郭先生公司的账户走账。基于对好友的信任，加上已经视频聊天核实了身份，郭先生没有核实钱款是否到账，就分两笔把430万元转到了好友朋友的银行卡上。后郭先生拨打好友电话才知道被骗。骗子通过智能AI换脸和拟声技术佯装好友对他实施了诈骗。骗子直接用好友微信发起视频聊天，这是郭先生被骗的原因之一。

今年初，以ChatGPT、New Bing、文心一言为代表的AIGC（人工智能生成内容）类应用引发全球关注。在AIGC类应用高歌猛进的同时，不少国家和地区开始刹车或按下暂停键。近期，欧盟将ChatGPT、Dall-E等内容生成式人工智能列入高风险人工智能范围清单；意大利率先宣布，出于隐私保护的考虑，在全国范围内禁用ChatGPT。加拿大对ChatGPT的开发公司OpenAI调查，是否有未经用户同意搜集用户信息。一些高校、企业也部分禁用ChatGPT。

这些足以表明，AIGC类应用在给人类跨越式发展提供无限机遇的同时，也给互联网虚拟空间与现实社会秩序带来难以预测的挑战。日前，超过350名人工智能领域的行业高管、专家和教授签署一封公开信，在信中他们警告称，AI可能给人带来灭绝风险。今年3月，包括特斯拉CEO马斯克在内的1000多名行业高管和专家签署公开信，呼吁在6个月内暂停高级AI的开发。马斯克等人在信中写道，高级AI可能会对社会和人类构成深远的风险。

今年4月11日，国家网信办发布了《关于〈生成式人工智能服务管理办法（征求意见稿）〉》（以下简称《意见稿》），着手从立法的角度规范我国生成式人工智能的发展路径。

那么，AI究竟会引发哪些刑事风险？生成式人工智能的提供者是否需要承担责任？AI的风险又该如何防范？为此，记者采访了中国政法大学刑事司法学院教授、犯罪学研究所副所长印波和北京市海淀区人民法院刑事审判庭法官高曼洁。

AIGC易引发多类刑事犯罪

AIGC引发的犯罪风险的前置状态必然是侵权方面的风险，在侵权方面的后果严重到一定程度自然成立犯罪。印波说，主要有以下几种刑事风险：利用生成式人工智能生成的内容颠覆国家政权、煽动分裂国家、破坏国家统一，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视等；利用生成式人工智能传播暴力、淫秽色情信息、虚假信息，以及生成可能扰乱经济和社会秩序的内容；不尊重知识产权，利用算法、数据、平台等优势实施不公平竞争；利用生成式人工智能制造虚假信息，实施各类欺诈等。

具体说来，如侵犯人格权类犯罪。印波解释说，AIGC可能导致未经肖像权人同意，复制、使用或者公开他人的肖像的情形，从而侵犯他人肖像权。如果使用侮辱性话术进行关联、创作，产出涉嫌色情、暴力、有辱人格的画面、评价，则可能侵犯他人名誉权。基于这些情形，轻者构成民事侵权，若情节严重，很可能构成寻衅滋事罪、诽谤罪、侮辱罪等。比如，通过AIGC故意捏造并散布虚构事实，贬损他人人格，情节严重的，可根据刑法第246条规定，构成诽谤罪。

侵犯公民个人信息罪。AIGC会抓取个人的可识别信息，进行散播、拼接、篡改。印波说，比如，人脸信息属于生物识别信息，与自然人保持对应关系，具有较高的可识别性。如果AIGC违反国家规定，无限度地提供包括人脸信息在内的能够识别公民个人身份或者涉及公民个人隐私的信息、数据资料，情节严重的，则可能根据刑法第253条之一的规定，构成侵犯公民个人信息罪。

侵害他人知识产权类犯罪。因为AIGC大量抓取、复制数据库信息，如果AIGC使用的素材来源于未经著作权人授权或许可的影视作品、音视频，则可能侵犯著作权，如果违法所得数额较大或有其他严重情节的，则可能构成侵犯著作权罪。此外，如果不当获取了权利人的商业秘密，违规披露、允许他人使用商业秘密，情节严重，则有可能构成侵犯商业秘密罪。

一般说来，AIGC引发的刑事风险有生成内容“类人性”强的特点，易引发诈骗类犯罪。高曼洁说，因“百科全书式”聊天机器人能高度模拟真人口吻，具有极强的“类人性”。如通过ChatGPT生成完整的诈骗套路话术，把ChatGPT包装成“虚拟角色”，使受害人误以为自己“坠入爱河”而遭受诈骗。此外，当前出现了众多包含“ChatGPT”字样的微信公众号、小程序、手机应用等，一些“山寨版”ChatGPT的虚假链接，通过吸引网民点击链接或下载，误导网民填写个人信息甚至付费，存在损害用户财产利益的风险，可能涉嫌诈骗罪；另有以投资AIGC类应用等新技术为名目吸收资金的违法犯罪行为，可能涉嫌非法集资、非法传销和诈骗罪。

篡改后台程序算法，易引发涉计算机类犯罪。高曼洁表示，“山寨版”ChatGPT生成虚假链接，引诱对话人点击，可能发生恶意攻击电脑设备、侵入特定领域的计算机信息系统、非法获取相关数据等行为，涉嫌非法侵入计算机信息系统罪、破坏计算机信息系统数据罪等。如网络黑客入侵AIGC类应用后台，篡改信息生成算法和检索内容，定向修改某类检索内容结果，易误导网民，或造成流瀑效应，破坏网络公共秩序。

海量内容精准搜索，易引发传播淫秽色情、传授犯罪方法类犯罪。高曼洁说，AIGC类应用依靠抓取海量信息数据，通过深度学习算法生成检索内容，对用户进行特定内容搜索，容易获取淫秽色情、犯罪方法、宣扬暴力甚至恐怖组织等信息，若某些网站专门提供上述信息的AIGC检索服务，将提高犯罪方法信息精确度，增大相关违法犯罪行为发生的风险。

生成内容可靠性存疑，易引发侵害人格权类犯罪。ChatGPT等AIGC类应用是对海量互联网信息的加工整合，信息真伪不明、道德边界感模糊。互联网上发布的娱乐八卦、网评等可能涉及个人隐私的信息，均可作为AIGC类应用的整合资源，且生成内容以“检索结果”展示，易让用户误以为是“标准答案”，则可能涉嫌侮辱、诽谤、侵犯公民个人信息等侵害人格权类犯罪。

规范前端，从源头降低AIGC刑事法律风险

生成式人工智能承担了信息收集者、信息加工者两个角色，最终成为服务提供者。因此，高曼洁认为，把控好前端服务提供者的行为责任，能够从源头上降低生成式人工智能的刑事法律风险。

内容提供者首先要确保可信信息源，从数据安全、个人信息保护、知识产权等方面，保证信息来源合法合规。

此外，还要对生成内容负责。生成式人工智能与传统的搜索引擎不同，不是简单的链接提供者，而是在现有信息基础上，经过算法加工而成的内容。因此，提供生成式人工智能产品或服务应当做到防止歧视、公平竞争、防止形成虚假信息、禁止非法获取个人信息和商业秘密等。也就是说，提供者需要对最终生成的内容承担符合道德、法律的义务。在生成内容责任方面，《意见稿》特别提出了对人工标注的规范，即“生成式人工智能产品研制中采用人工标注时，提供者应当制定符合本办法要求，清晰、具体、可操作的标注规则，对标注人员进行必要培训，抽样核验标注内容的正确性。”高曼洁称，从标注的人员到标注的内容进行规范，是对算法生成中重要的人工参与步骤进行合理引导，从而提高生成内容的合法合规性。

“另外，还需要承担流程报备责任，主要包括申报安全评估、前置算法备案等备案义务。”《意见稿》规定，“利用生成式人工智能产品向公众提供服务前，应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向国家网信部门申报安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。”高曼洁说，通过报备的方式，使生成式人工智能置于主管部门的管理之下，便于在发生违法违规行为时及时处置。

加快立法，加大新兴技术监管力度

生成式人工智能技术在科技领域具有颠覆性，法律显而易见存在滞后性，目前，如何防范AIGC可能引起的刑事风险，以期科技能更好更稳地促进社会发展？

印波建议，一是尽快进行规范，实施包容审慎监管。国家网信办发布的《意见稿》应当尽快在社会上形成共识，从而最大限度地控制生成式人工智能带来的风险。生成式人工智能的提供者及使用者要建立好合规机制，一旦出现相应的风险，需要自查自纠进行整改，在审慎探索中创新应用。

二是积极与国际社会形成共识，积极探讨生成式人工智能的跨境运用。譬如，美国已经开始审查是否需要对人工智能技术进行监管。美国商务部于当地时间2023年4月11日发布了一份正式的公开意见征求文件，征求内容包括政府是否应该在可能具有潜在风险的人工智能模型发布之前对之进行批准。我们应当积极与美国展开对话，以期达成共识。

三是应当要求生成式人工智能提供者承担信息源责任、生成内容责任、流程报备责任，确保信息来源合法合规，生成内容真实可靠且有据可查。

高曼洁表示，首先要加大普法宣传力度，增强网民反诈意识，引导网民合法合规使用合法软件，准确识别被伪装的山寨链接，避免泄露个人信息。而法律工作者需要做好风险预判和普法宣传，让民众的风险意识与科技创新同步并行。

其次要加快新技术规范立法工作，探索算法推荐等技术管理制度的落地路径，明确自动生成内容类应用检索信息的边界，提高应用开发和应用算法的透明度，确保生成式人工智能应用开发和推广以安全、道德、尊重公民权利和隐私的方式规范开展。

此外，还要完善救济途径。可在AI发布后，以提供补丁网站的方式，便利相关权利人提交不予授权的声明，及时删除不予授权的信息源，以避免和解决AI使用过程中的权属争议。

虽然生成式人工智能在科技领域具有颠覆性，但在世界范围内应用时间毕竟不长，高曼洁认为，需要对其应用过程中产生的风险进行有效的法律评估，这样才能让科技在正确的轨道上为人类所用。