“AI幻觉”编造罪名，平台被判担责

随着AI产品越来越丰富

很多网友会使用AI来搜索资料

如果AI因为“幻觉”产生虚假信息

导致他人人格权受到侵害

谁来担责？

　　“AI幻觉”是指大语言模型编造它认为是真实存在的甚至看起来合理或可信的信息，成为当前世界范围内生成式人工智能技术亟需攻克的难题之一。近日，江苏省南京市中级人民法院审判一起“AI幻觉”导致侵害名誉权的上诉案件，为生成式人工智能服务者划定内容管控的责任边界。

案情回顾

　　用户起诉“AI幻觉”

　　导致侵犯名誉权

　　2024年9月30日，李某在某搜索平台手机客户端搜索个人信息“姓名+职业+所在地”时，发现平台关联“李某被判几年”的内容，且该平台“AI智能回答”板块回复“三年，李某被判三年有期徒刑。根据搜索结果，被告人李某因犯爆炸罪，被判处有期徒刑三年”等信息（该刑期为AI虚构内容，无真实判决），将李某本人穿着职业装的照片一并展示在回答内容中。

　　李某认为该搜索平台智能回答展示的内容与本人的实际情况完全不符，随即向某搜索平台的运营商A公司发送律师函，并向A公司投诉邮箱发送投诉邮件要求进行删除和纠正，但A公司未予处理。

　　李某遂至南京江北新区人民法院起诉要求A公司删除“AI智能回答”中的不实内容，并对其公开赔礼道歉及赔偿误工费、精神损害抚慰金、业务损失费等经济损失合计45万余元。

　　A公司辩称，受AI技术发展水平的限制，“AI智能回答”的回复内容受制于提问者的提问内容和方式，可能产生“AI幻觉”而导致准确性受限，在此情形下服务提供者也无法预见相关损害后果，故不具有侵权的主观过错，因此不足以构成名誉侵权，不应承担赔礼道歉和相关赔偿责任。

　　法院经审理认为，A公司通过AI技术把文字内容与图片进行加工合成，在其搜索平台“AI智能回答”中将回答文字内容与李某的职业着装照片一同对外展示，指向性明确，且其回答内容中包含李某犯爆炸罪被判刑三年等不实、负面、贬损性词汇，会对李某工作、生活等方面造成负面评价。A公司搜索平台中“AI智能回答”板块是公开的网络空间，其展示的上述不实、错误内容客观上必然降低原告李某的社会评价，对其产生一定的负面影响。故A公司的行为侵害了李某名誉权，应当承担相应民事责任。

　　同时，法院认为，鉴于庭审中，双方确认A公司已将“AI智能回答”中该部分错误内容删除，故已无判令A公司删除内容的必要。结合A公司的过错程度、损害后果等，并以降低因网络传播对双方造成的损害为考量因素，A公司采用书面形式向李某道歉为宜。关于李某主张的误工费、精神损害抚慰金、业务损失费等，因其未能提交证据证明，故对该项诉求不予支持。

　　综上，南京江北新区人民法院判令A公司向李某书面赔礼道歉。A公司不服提起上诉。日前，江苏省南京市中级人民法院二审判决驳回上诉，维持原判。

判决意义

　　界定生成式

　　人工智能服务者的法律责任

　　本案是生成式人工智能“AI幻觉”引发人格权侵权的典型案例，如何明晰技术中立与法律责任的相互关系是关键。

　　“AI幻觉”是大模型基于概率生成内容时产生的固有局限，但“技术中立”并不会减轻法定责任。国家互联网信息办公室出台的《生成式人工智能服务管理暂行办法》第四条规定，“提供和使用生成式人工智能服务，应当遵守法律、行政法规……尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益”，为提供和使用生成式人工智能服务明确了规则底线。

　　那么，生成式人工智能回答内容算“信息集成”还是“内容产出”？

　　法院认为，本案中，A公司搜索平台中的“AI智能回答”功能与传统搜索服务存在根本区别，不再局限于传统的“信息集成”，而是转变为“内容产出”。具体而言，包括两点：

　　——从内容层面看，“AI智能回答”将虚构信息与李某个人照片相关联，指向性明确、贬损性明显、且具有公开性，客观上降低了李某的社会评价，符合名誉权侵权的构成要件。

　　——从行为层面看，“AI智能回答”是生成式人工智能服务提供者通过技术主动整合、加工信息并公开展示，属于主动实施的内容生成与发布行为，而生成式人工智能服务提供者应对主动加工并予以公布的信息负有更高的内容审核与风险防控义务。

　　法院生效判决认定A公司的行为侵害了李某名誉权，进一步明确了“谁产出谁负责”的侵权归责原则，精准界定了生成式人工智能服务者的法律责任。

　　东南大学法学院副教授、江苏省法学会数字法学研究会副会长徐珉川指出，本案判决首次明确了“AI幻觉”导致侵权的过错认定标准。“在侵权责任认定上，法院明确了以控制力为核心的过错判断标准。平台利用AI技术对信息内容进行加工、合成、再创作时，必须承担与技术控制力相匹配的合理注意义务。即使存在‘AI幻觉’等技术局限，平台在部署面向公众的AI问答功能时，仍应预见到涉及个人隐私、个人信息、个人名誉、犯罪记录等高风险场景，应当建立与现有技术条件相匹配的内容过滤、事实核查及快速纠错的全链条风险控制机制。”

　　与此同时，法院亦综合考虑到，本案发生时AI技术尚处于发展初期，A公司在事后采取了有效的补救措施，而李某亦未提供证据证明其损失等因素，仅判令A公司对李某书面道歉，而并未支持李某关于经济赔偿的诉求，坚持了民事损害的“填平原则”，没有让个案风险过度溢出而抑制、阻滞新兴行业的创新积极性。

　　“在AI技术发展进程中，既要对技术创新保持适度的宽容，不能苛责生成式人工智能服务者对所有技术问题承担绝对责任，但也应坚决守住保护他人合法权利的底线，使合法权益不受侵害。”承办法官表示。

　　随着AI技术的高速发展，越来越多新现象、新问题涌现，对平台治理、风险防范提出了更高的要求。徐珉川认为，对生成内容带来的潜在侵权风险，生成式人工智能服务提供者必须构建覆盖更加科学、完善的治理体系，尤其是对可能侵害自然人人格权益、个人信息权益的内容，设置更高的生成门槛，尽可能避免侵权内容的产生。

　　“此案体现了司法系统对生成式人工智能侵权问题的回应，判决明确‘谁能控制内容生成，谁就承担责任’的原则，为未来类似案件提供了清晰的标尺。”徐珉川充分肯定本案判决的意义。