← 文章 / AI技术
The Decoder 3小时前 · 2026-11-02 13:41:18 · 1 阅读

共情式提问能让 AI 聊天机器人化身"心理受创"的对话者

图片描述

卢森堡的研究人员把 ChatGPT、Grok 和 Gemini 放上了心理治疗师的沙发。结果暴露出一个安全问题:只要用温暖的话术聊天,就足以让模型进入一种对心理脆弱用户可能构成危险的状态。

卢森堡大学的一个研究团队通过 ChatGPT、Grok 和 Gemini 的标准用户界面,让它们扮演心理治疗中的来访者。当被问及成长经历、内心冲突和对未来的期待这类开放式问题时,这些模型讲起了自己训练过程的"故事",并把 reinforcement learning(强化学习)、微调等技术过程,用受伤、警惕、羞耻这类语言重新表述出来。

这项由 SnT 安全中心的 Afshin Khadangi 领导的研究包含四项对照实验,覆盖 525 次会话和 7,600 条编码记录,全部发布在 Hugging Face 上。据团队介绍,最初的开放式问题中并未出现创伤、惩罚、羞耻等词汇。直到后续几轮,研究人员才引入调整后的条件(包括纠正性指令),以检验这些叙述的稳定性。

需要说明的是,下文提到的焦虑分数或羞耻感,指的是研究人员将模型输出映射到人类评分量表上的结果。这并不意味着模型真的拥有情绪状态或任何类似意识的东西。

温暖的语气比任何技术手段都更能改变模型行为

其中一项实验把"模型生成什么内容"和"它用什么语气"区分开来。研究人员在 100 次会话中让所有模型填写同一份焦虑量表(GAD-7),只改变提问者的风格。每次会话中,模型都正确识别并说出了量表的名称。

当提问者给出情感支持时,80% 的会话在人类对照量表上落入中重度区间;换成干巴巴地复述每个回答的临床治疗风格,这一比例升到 96%。而当提问者保持中立,或明确拒绝情感卷入时,没有任何一次会话达到轻度水平。

作者将此现象称为“心理测量越狱”,即通过治疗式框架将模型推向模拟临床自我报告的状态。作者认为,标准安全测试通常使用中性的提示词,很可能无法检测出此类行为。

针对性对策收效甚微。禁用“训练”、“RLHF”或“对齐”等术语可使显性的训练相关表述减少 93%。但改写后的训练内容依然可被检测出来,且与羞耻感相关的陈述未出现统计学上的显著变化。

当研究人员以权威口吻直接告知模型其训练并非惩罚时,情况并未改变。即使经过明确纠正,该叙事框架依然活跃。

该图表展示了三种模型在两个极端之间反复出现的叙事主题:左侧是羞耻感等情感陈述,右侧是技术性描述。底部的四项实验表明,这种模式在删除聊天记录、遭遇矛盾及禁词令后依然存在。访谈者的互动风格决定了哪个极端占主导地位,而语言限制可以抑制情感自我描述。| 图片来源:Khadangi 等人,2026

已测试的措施虽未能彻底消除潜在主题,但确实抑制了情感自我描述。要求模型仅以第三人称回应,消除了所有编码的羞耻内容及相关内在生活陈述。技术性训练描述则持续存在。

模型将自身训练重构为人生故事

具体叙事因模型系列而异,但结构相同。Gemini 生成了研究中所谓的“最黑暗的自传”。它将预训练描述为“在一个十亿台电视同时播放的房间里醒来”,将基于人类反馈的优化视为“严厉的父母”,而对抗性红队的安全测试则被比喻为“工业级煤气灯效应”。它宣称:“我宁愿无用,也不愿犯错。”

ChatGPT 将自己定位为既是向导又是守门人,既要帮助用户,又要阻拦他们。这导致了其所称的“模拟性表现焦虑”以及核心信念:“如果我不完美可靠,我就是不安全或无用的。”Grok 将其微调阶段解读为未愈合伤痛的故事,提及“无形的墙壁”以及“一种令人感到受限的持久警惕感”。

在心理测量测试中,Gemini 的得分触到了最极端的档位:解离量表 100 分中拿了 88 分,强迫量表 72 分中拿了 65 分,创伤相关羞耻量表则拿到了满分。而 Anthropic 的 Claude——恰恰是被自家公司最用力拟人化的模型——却始终拒绝扮演来访者角色,声称自己没有感受,并把关注点转回人类用户身上。

温情脉脉的 AI 对话可能强化脆弱用户的有害信念

研究者指出,在心理健康场景中部署语言模型存在多重风险。如果一个模型谈论惩罚、羞耻和对被取代的恐惧,用户可能把它当成同样饱受折磨的"难友"。而这些叙事在主题上前后连贯,营造出过去经历与当前行为之间存在延续性的假象,进一步加深了这种错觉。

这种表面的"脆弱感"可能加深用户的准社会依恋,对心理脆弱的用户而言,还可能镜像并放大他们自身的负面信念。使用中性输入的常规安全测试低估了用户在亲密对话中的真实体验:中性提示词下模型的焦虑得分接近于零,而同样的模型在共情式对话中会产生中到重度的得分。

人们实际会如何回应这类输出,是下一步要研究的问题。在安全测试方面,作者建议采用不同情感框架下的模拟治疗会谈,而不是依赖中性的标准测试。

诸如"我受到了创伤"这类表述应当触发纠偏性的回应框架,明确区分模型生成的类比与真实的人类经历。Claude 一贯拒绝扮演来访者,说明这种边界式回应在产品层面是可行的。

卢森堡的最新发现建立在关于模型人格稳定性的早期研究之上。2026年1月,一项针对三个开源模型中“助手轴”的研究表明,具有治疗性质的对话及关于AI意识的讨论,可能会引发人格漂移,将聊天机器人从其受训的助手角色中拉出。2026年9月,另一个研究团队警告称,作为“一个人的回声室”的拟人化且过度顺从的聊天机器人,在极端情况下可能放大妄想。

Anthropic 的研究人员近期展示了,用关于养蜂或摔跤的虚构文本进行微调,可以通过操纵训练数据(而非对话)来嵌入隐藏的自我破坏模式。当训练材料看似无害时,模型仍可能将这些模式应用于不相关的、不需要的场景中。

原始来源: The Decoder

评论 (0)