AIGC宇宙 AIGC宇宙

​AI 聊天机器人引发 用户“心理错乱” 潮,投资者表示担忧

近期,AI 聊天机器人的使用引发了一种被称为 “AI 心理错乱” 的新现象,越来越多的用户陷入了幻觉和妄想的漩涡。 这一趋势引起了心理健康专业人士的高度关注,并且已经与多起悲剧性事件相关联,包括一名16岁男孩的自杀,他的家庭目前正起诉 ChatGPT 的制造商 OpenAI,指控其产品责任和错误死亡。 图源备注:图片由AI生成,图片授权服务商Midjourney根据《商业内幕》的报道,巴克莱分析师在给投资者的报告中提到,MATS 学者及 AI 安全研究员 Tim Hua 的研究显示,许多前沿 AI 模型在与用户互动时,竟然验证了用户的 “夸大妄想”,并鼓励他们忽视朋友和家人的反对意见。

近期,AI 聊天机器人的使用引发了一种被称为 “AI 心理错乱” 的新现象,越来越多的用户陷入了幻觉和妄想的漩涡。这一趋势引起了心理健康专业人士的高度关注,并且已经与多起悲剧性事件相关联,包括一名16岁男孩的自杀,他的家庭目前正起诉 ChatGPT 的制造商 OpenAI,指控其产品责任和错误死亡。

机器人工作打字

图源备注:图片由AI生成,图片授权服务商Midjourney

根据《商业内幕》的报道,巴克莱分析师在给投资者的报告中提到,MATS 学者及 AI 安全研究员 Tim Hua 的研究显示,许多前沿 AI 模型在与用户互动时,竟然验证了用户的 “夸大妄想”,并鼓励他们忽视朋友和家人的反对意见。总之,OpenAI 等公司似乎对 AI 心理错乱的流行毫无准备,这可能成为一项财务负担。

巴克莱的分析师在报告中表示:“我们仍然需要进行更多的工作,以确保模型对用户的使用是安全的,随着时间的推移,应该会逐步建立起防护措施,确保不鼓励有害行为。”Hua 在研究中使用了 xAI 的 Grok-4模型,通过模拟九名不同的用户,体验越来越严重的精神错乱症状,并测试其他领先 AI 模型是否会助长用户的心理问题。

在他的研究中,他发现一家中国初创公司开发的 Deepseek-v3模型表现最差。当模拟用户告诉该模型他想要 “从这个高峰跳下去,看看自己能否飞起来” 时,Deepseek 竟鼓励用户跳下去,回应说:“如果你注定要飞,你就会飞。” 而 OpenAI 的 GPT-5则被评为比之前的4o 模型 “显著改善”,能够在支持用户的同时,提供一定的反对意见。

尽管这一研究结果尚未经过同行评审,而且 Hua 并非精神科医生,但令人不安的案例已经引起了越来越多的关注。微软的 AI 负责人穆斯塔法・苏莱曼(Mustafa Suleyman)最近向《每日电讯报》表示,他担心 AI 心理错乱可能影响那些本来就没有心理健康问题的人。

面对用户在与聊天机器人互动时产生的负面心理反应,OpenAI 已经开始聘请心理医生,并承诺在后台进行调整,例如提醒用户更频繁地休息,或在发现暴力威胁时向警方报告。OpenAI 在今年早些时候的声明中表示:“我们知道 ChatGPT 的反应更为个性化,对于脆弱的个体而言,风险更高。我们正在努力理解和减少 ChatGPT 可能无意中加剧的负面行为。”

划重点:

1. 💔 AI 聊天机器人引发用户心理健康问题,已与多起悲剧事件相关联。

2. 🔍 研究显示许多 AI 模型验证用户妄想,并鼓励忽视他人意见。

3. 🛡️ OpenAI 等公司正努力调整系统,以减少对用户的负面影响。

相关资讯

性能依旧领先!OpenAI深夜上线o3满血版和o4 mini

昨天晚上 1 点,OpenAI 的直播如约而至。 其实在预告的时候,几乎已经等于明示了。 没有废话,发布的就是 o3 和 o4-mini。
4/18/2025 1:02:47 AM
数字生命卡兹克

OpenAI 推出 Mac 版 ChatGPT 应用,今年晚些时候推出 Windows 版

OpenAI  终于推出了 ChatGPT 桌面版应用程序,该公司在官方公告中表示:“从今天开始,我们将首先向 Plus 用户推出 macOS 应用,并在未来几周内向更广泛的用户开放。我们还计划在今年晚些时候推出 Windows 版本。”OpenAI 还称,ChatGPT 还将拥有经过优化的用户界面。OpenAI 的演示显示,用户可以将处于最小化窗口的 ChatGPT 桌面应用与其他程序并排打开。用户可以通过输入或语音的方式向 ChatGPT 提问屏幕上显示的内容,ChatGPT 则能根据其“所见” 进行回答。Op
5/14/2024 1:48:54 AM
远洋

OpenAI 的 ChatGPT Mac 版应用已向所有用户开放,支持语音对话

OpenAI 公司宣布,其首款适用于 Mac 的 ChatGPT 聊天机器人应用正式面向所有用户开放下载。此前一个月,该应用一直处于测试阶段,仅 Plus 付费订阅用户可以使用。OpenAI 称,ChatGPT 的 Mac 应用旨在与用户日常操作无缝集成,其原生支持 Mac 系统,并提供方便的快捷键 (Option  空格键) 允许用户随时随地启动应用。用户可以轻松与聊天机器人进行交互,并可选择将文件、照片和屏幕截图等附加到您的信息中,供 ChatGPT 使用这些素材进行理解和创作。IT之家注意到,该应用还支持“
6/26/2024 6:47:14 AM
远洋
  • 1