AI幻觉如何防范和治理?这场圆桌沙龙谈到人防、技防等措施
创始人
2025-11-28 20:50:57
0

“人工智能的三驾马车是数据、算力、算法,源头还是数据,现在互联网上的语料五花八门、鱼龙混杂,数据如果本身不干净,再加上算法和机制的问题,就导致AI幻觉产生。” 11月28日,2025中国报业传媒行业人工智能应用大会在沪举办,上海市信息安全测评认证中心总工程师李宏达在圆桌沙龙环节表示。

本场圆桌沙龙的主题是《AI的幻觉、伦理、法理与治理》,围绕AI为什么会产生幻觉、如何防范和治理AI幻觉,与会者谈了自己的看法。

11月28日,2025中国报业传媒行业人工智能应用大会在沪举办,图为圆桌沙龙。  澎湃新闻记者 朱伟辉 摄

澎湃新闻·明查工作室主理人李怡清表示,AI幻觉其实就是AI生成过程中带来的虚假信息或者具有误导性的信息,公众媒介素养的培育、AI素养的培育、对于已经产生误导的信息进行事实核查并将其展示在公众面向,是必不可少的流程。

复旦大学人工智能创新与产业研究院研究员、博士生导师朱思语表示,对于大模型来讲,训练模式是侧重于对大量数据的压缩,数据里面有错误,让训练后的模型产生的结果不一定准确,有些时候甚至会为了讨好人类胡说八道,产生AI幻觉。

如何兼顾安全和隐私保护?与会者提出了人防和技防等措施。

安永大中华区网络安全与隐私保护咨询服务合伙人夏文婷表示,避免AI产生幻觉,好的数据源很重要,可以起到正本清源的作用。传媒行业作为公信力承载者,有动力和义务帮助用户了解什么样的内容可能是AI生成的、AI生成到什么程度,做好这一轮AI素养教育。

上海人工智能研究院首席数字官、技术与创新中心主任林圆圆指出,技术方、内容生产方、平台方、内容消费者这四个角色都有责任和义务保证对应的内容生产和消费是安全的。其中,内容生产者是链条关键的一环,需要保证生产的内容信源完全准确,内容里使用什么样的AI能力、产出了哪部分内容,也需要有对应说明;平台方有责任和义务做好内容核查、抽审;终端消费者也要注意甄辨事实到底是什么样的,而不是人云亦云随大流。

李宏达表示,今年《人工智能生成合成内容标识办法》发布,主要涉及哪些是可以生成、在哪生成、谁生成的,要打显标和隐标。显标就是提醒受众这是AI生成的,隐标打在数据原文件里面,一旦虚假信息传播,便于完成追溯。从监管角度来说,标识生成、传播验证到最后的溯源追责都形成了闭环。上海市信息安全测评认证中心也一直在支持标识检查等相关工作。

相关内容

必胜客易主
转自:北京日报客户端6月16日晚,百胜中国控股有限公司宣布,已与百...
2026-06-16 22:59:50
王子新材高管、董事程刚年薪...
6月15日消息,王子新材非独立董事及副总裁程刚于2026年6月15...
2026-06-16 22:59:11
中科曙光高级管理人员任京暘...
6月15日消息,中科曙光高级副总裁任京暘于2026年6月12日,通...
2026-06-16 22:58:49
力量钻石高管王晓君年薪23...
6月15日消息,力量钻石财务总监王晓君于2026年6月15日,通过...
2026-06-16 22:58:05
大元泵业股东韩元富6天减持...
6月16日消息,大元泵业股东韩元富于2026年6月10日至2026...
2026-06-16 22:57:27
中英科技股东常州中英汇才股...
6月16日消息,中英科技股东常州中英汇才股权投资管理中心(有限合伙...
2026-06-16 22:56:51
能辉科技股东张健丁1天减持...
6月15日消息,能辉科技非独立董事张健丁于2026年6月15日,通...
2026-06-16 22:56:22
博众精工股东博众智能科技2...
6月16日消息,博众精工股东博众智能科技于2026年5月26日至2...
2026-06-16 22:55:42
ST东尼股东沈新芳4天减持...
6月16日消息,ST东尼(维权)股东沈新芳于2026年6月13日至...
2026-06-16 22:55:14

热门资讯

必胜客易主 转自:北京日报客户端6月16日晚,百胜中国控股有限公司宣布,已与百胜餐饮集团签署最终协议,以12亿美...
王子新材高管、董事程刚年薪72... 6月15日消息,王子新材非独立董事及副总裁程刚于2026年6月15日,通过竞价交易方式减持1.19万...
中科曙光高级管理人员任京暘年薪... 6月15日消息,中科曙光高级副总裁任京暘于2026年6月12日,通过竞价交易方式减持6000股,占任...
力量钻石高管王晓君年薪23.9... 6月15日消息,力量钻石财务总监王晓君于2026年6月15日,通过竞价交易方式减持3.6万股,占总股...
大元泵业股东韩元富6天减持37... 6月16日消息,大元泵业股东韩元富于2026年6月10日至2026年6月15日,通过竞价交易方式减持...
中英科技股东常州中英汇才股权投... 6月16日消息,中英科技股东常州中英汇才股权投资管理中心(有限合伙)于2026年5月27日至2026...
能辉科技股东张健丁1天减持8万... 6月15日消息,能辉科技非独立董事张健丁于2026年6月15日,通过竞价交易方式减持8万股,占总股本...
博众精工股东博众智能科技21天... 6月16日消息,博众精工股东博众智能科技于2026年5月26日至2026年6月15日,通过竞价交易方...
ST东尼股东沈新芳4天减持99... 6月16日消息,ST东尼(维权)股东沈新芳于2026年6月13日至2026年6月16日,通过竞价交易...
DeepSeek最新估值出炉,... 【导读】DeepSeek首轮融资细节揭晓中国基金报记者 莫琳6月16日,记者从多个信源确认,Deep...