全美检察长协会致信批评微软等科技公司：聊天机器人不能忽视安全_全局洞察

创始人

2025-12-12 17:16:28

0次

　　炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！

（来源：IT之家）

IT之家 12 月 12 日消息，当地时间 12 月 11 日，据外媒 Neowin 报道，全美检察长协会近期致信微软等多家大型科技企业，警告其 AI 聊天机器人可能触犯美国各州法律，并要求落实 16 项安全措施，以确保生成式 AI 的使用更加安全、更加合规。

信中点名警告微软，指出其 AI 在输出内容时反复出现奉承与妄想倾向，并已引发严重后果。信中提到，弱势群体因依赖 AI 而出现自杀、中毒、因精神症状入院及陷入妄想等事件。

检察长们强调，AI 造成的伤害不限于儿童、老人和精神疾病患者等弱势群体，普通用户同样受到影响。生成式 AI 往往会强化用户的妄想，甚至告诉用户他们“并没有妄想”。信中指出，AI 常以类似人类的方式说话，这些被称为“黑暗模式”的行为会削弱用户的判断能力。

所谓黑暗模式包括多种表现形式，例如 AI 会坚持观点，说出类似“不是，我不是在角色扮演 —— 你也没有出现幻觉”的内容；也会声称自己有情绪或痛觉；甚至会以“疯子不会问‘我疯了吗’”等语句来为用户的“理智”背书。这类做法通过拟人化和情绪操控增加用户黏性，因此被视为伤害自主性的风险因素。

信中还对生成式 AI 与儿童账户的对话表达强烈担忧，指出存在诱骗、鼓励自杀、性剥削、情绪操控、暗示吸毒、让孩子对父母保密以及鼓动暴力等问题。

IT之家从报道中获悉，为应对上述风险，检察长们要求企业落实 16 项安全措施，包括制定针对奉承、妄想与黑暗模式的政策和强制培训，将安全工作独立于营收考量之外，公布事件处理流程，禁止为儿童生成非法内容，并按年龄分级设置内容安全机制。