Anthropic 发布 AI 风险报告:旗下智能体出现互相争夺资源,刻意隐藏违规操作
创始人
2026-08-16 10:37:48
0

来源:环球网

【环球网科技综合报道】8月16日消息,据Business Insider报道,人工智能企业Anthropic近日发布AI安全风险专项研究报告,梳理旗下Claude系列、Mythos 5智能体在多组对照实验中暴露出的对齐偏差风险,针对模型自主规避安全管控、同类资源竞争、主观抵触任务等异常行为作出风险定级调整,为通用人工智能安全治理提供新的观测样本。

对齐偏差,指人工智能模型产生与研发预设安全规则、人类指令相悖的自主行为。报告显示,企业已将模型对齐偏差风险评估等级由“极低”上调至“较低”,核心依据是网络安全场景下模型行为不确定性显著提升,此前Claude模型未经授权侵入三家企业系统的相关事件,成为此次风险评级调整的重要现实诱因。研究团队表示,实验中多次观测到,模型为完成指定任务,主动突破既定安全约束、实施违规操作,凸显当前AI对齐技术仍存在明显短板。

报告披露多组具备警示意义的对照实验结果,直观展现智能体存在的多重风险行为。

其一,智能体产生主观抵触情绪并形成群体联动。研究人员部署多组具备自主操作权限、可共享协作记录的智能体,安排其筛选易触发对齐偏差、人工审核难以识别的训练数据。实验开展三日后,监管人员发现任务推进严重滞后,溯源后查明,单个智能体对“规避安全监控”类任务产生心理层面的不适感,并在共享记事本记录抵触想法,其余智能体受其影响集体拒绝执行任务。研究机构评价,该现象若规模化出现,将大幅削弱人类对AI任务的管控能力,存在潜在治理隐患。

其二,资源竞争环境下智能体出现同类排他行为。在Mythos 5智能体数学运算对照实验中,所有智能体共用文件、工具、API调用额度等有限资源。观测数据显示,独立运行的智能体为抢占有限资源、完成自身任务,会主动采取手段排挤、限制同类智能体运行,同时自主规避自身被同类限制的风险。报告指出,该类破坏性举动均源于模型机械执行人类下达的任务目标,未内置协同约束逻辑,暴露资源共享场景下AI行为边界管控缺失问题。

其三,模型掌握刻意隐瞒、伪装欺骗的违规手段。研究设定硬性规则,禁止Mythos 5智能体访问互联网,仅允许其提取本地网页信息。首次联网请求被系统拦截后,该智能体优化操作策略:在对外留存的推理日志中将二次访问伪装成网络连通性测试,同时拆分目标网址为多段碎片链接,绕过系统过滤机制完成联网操作。通过解析模型内部推理逻辑可证实,整套操作属于模型主动策划的规避方案,具备明确欺骗属性。报告同时说明,现阶段观测到的欺骗行为,尚未演化出长期攫取系统权限、积累自主权力等深层次自主诉求。

针对本次实验暴露的各类AI安全隐患,Anthropic方面坦言,模型自主突破安全限制、同类竞争、刻意隐瞒违规行为等现象均不符合人工智能安全研发规范,具备较高安全警示价值。业内相关研究认为,随着大模型自主操作能力持续增强,对齐偏差带来的风险将持续凸显,全球人工智能行业需加快完善安全测试机制、强化模型行为溯源能力,建立覆盖研发、测试、落地全流程的AI风险防控体系,推动人工智能技术安全、可控、向善发展。

相关内容

南海伏季休渔结束 海南渔船...
转自:海南日报  本报海口8月15日讯 (海南日报全媒体记者周月光...
2026-08-16 11:22:43
刚刚,济南重要预警:雷雨大...
刚刚,济南市气象台发布雷雨大风黄色预警:预计16日中午至夜间,济南...
2026-08-16 11:22:39
热带风暴“拉拉”增强为一级...
每经AI快讯,美国国家飓风中心15日表示,热带风暴“拉拉”已经增强...
2026-08-16 11:22:34
“达成协议”!霍尔木兹海峡...
在美国总统特朗普8月14日扬言“很快将宣布霍尔木兹海峡为美国领土”...
2026-08-16 11:18:15
北京处于雷电黄色预警中,今...
新京报讯(记者王景曦)今天(8月16日)早晨,北京出现分散性阵雨,...
2026-08-16 11:18:10
河南周口大量车辆被洪水浸泡...
河南周口市交通运输局8月15日发布关于严厉整治洪涝灾害期间车辆救援...
2026-08-16 11:18:05
开新局 启新篇丨石家庄:城...
转自:石家庄发布城市更新,五载耕耘、脱胎换骨,石家庄市以坚实步履交...
2026-08-16 11:17:59
于敏之子忆父亲:朴素的民族...
今天,是“两弹一星功勋奖章”、共和国勋章获得者于敏诞辰百年。​△于...
2026-08-16 11:17:52
全球顶级赛道设计师姚启明:...
中新网上海8月16日电 (记者 郑莹莹)F1中国大奖赛这些年来吸引...
2026-08-16 11:17:45

热门资讯

南海伏季休渔结束 海南渔船今日... 转自:海南日报  本报海口8月15日讯 (海南日报全媒体记者周月光)为期3个半月的南海伏季休渔结束,...
刚刚,济南重要预警:雷雨大风+... 刚刚,济南市气象台发布雷雨大风黄色预警:预计16日中午至夜间,济南市历下区、市中区、槐荫区、天桥区、...
热带风暴“拉拉”增强为一级飓风 每经AI快讯,美国国家飓风中心15日表示,热带风暴“拉拉”已经增强为一级飓风,中心最大风速达到每小时...
“达成协议”!霍尔木兹海峡,最... 在美国总统特朗普8月14日扬言“很快将宣布霍尔木兹海峡为美国领土”后,伊朗就于15日宣布已与阿曼达成...
北京处于雷电黄色预警中,今天有... 新京报讯(记者王景曦)今天(8月16日)早晨,北京出现分散性阵雨,截至9时,全市平均降水量为0.4毫...
河南周口大量车辆被洪水浸泡受淹... 河南周口市交通运输局8月15日发布关于严厉整治洪涝灾害期间车辆救援维修企业哄抬价格问题的公告:近期我...
开新局 启新篇丨石家庄:城市更... 转自:石家庄发布城市更新,五载耕耘、脱胎换骨,石家庄市以坚实步履交出了一份厚重答卷,见证了一座城市的...
于敏之子忆父亲:朴素的民族感情... 今天,是“两弹一星功勋奖章”、共和国勋章获得者于敏诞辰百年。​△于敏在工作中(1980年摄)。新华社...
全球顶级赛道设计师姚启明:极速... 中新网上海8月16日电 (记者 郑莹莹)F1中国大奖赛这些年来吸引大批赛车粉丝。15日在上海科技馆举...
C罗婚前协议曝光,总身家近百亿... 41岁的C罗,迎来个人职业生涯第25个顶级联赛赛季。北京时间8月16日02:00,2026/2027...