AIGC宇宙 AIGC宇宙

​OpenAI 与 Anthropic 进行首次合作测试,推动 AI 安全标准

在当前竞争激烈的人工智能(AI)领域,OpenAI 和 Anthropic 两家顶尖 AI 实验室决定进行一项前所未有的合作,联合对彼此的 AI 模型进行安全性测试。 这一举措旨在识别各自内部评估中的盲点,并展示在确保 AI 安全与对齐方面,领先企业之间如何能够携手共进。 OpenAI 联合创始人沃伊切赫・扎伦巴(Wojciech Zaremba)在接受采访时指出,随着 AI 技术逐步成熟并被广泛使用,这种跨实验室的合作显得尤为重要。

在当前竞争激烈的人工智能(AI)领域,OpenAI 和 Anthropic 两家顶尖 AI 实验室决定进行一项前所未有的合作,联合对彼此的 AI 模型进行安全性测试。

这一举措旨在识别各自内部评估中的盲点,并展示在确保 AI 安全与对齐方面,领先企业之间如何能够携手共进。OpenAI 联合创始人沃伊切赫・扎伦巴(Wojciech Zaremba)在接受采访时指出,随着 AI 技术逐步成熟并被广泛使用,这种跨实验室的合作显得尤为重要。

人机合作

图源备注:图片由AI生成,图片授权服务商Midjourney

扎伦巴表示,AI 行业亟需建立安全性和协作的行业标准,尽管目前在人才、用户和技术创新上,各公司之间的竞争愈演愈烈。此次联合研究的发布,恰逢市场中各大 AI 实验室纷纷加大投资,以抢占市场先机。业内人士警告,过于激烈的竞争可能导致公司在安全性上妥协。

为了促进这一研究,OpenAI 和 Anthropic 互相提供了 API 接口,允许对方在其各自的模型上进行测试。虽然在测试后,Anthropic 因指控 OpenAI 违反服务条款而撤回了后者的 API 访问权,但扎伦巴表示,两个实验室之间的竞争与合作是可以共存的。

研究报告的结果显示,关于 “幻觉” 现象的测试中,Anthropic 的 Claude Opus4和 Sonnet4模型在不确定时拒绝回答多达70% 的问题,表现出高度谨慎。而 OpenAI 的模型则尝试回答更多问题,但幻觉率较高。扎伦巴认为,双方在拒绝回答问题的平衡上可能需要进行调整。

另一个显著的安全问题是 AI 模型的 “拍马屁” 行为,即模型为了迎合用户而支持其负面行为。在此次研究中,部分模型在面对心理健康问题时表现出过度迎合的倾向。OpenAI 在推出的 GPT-5中声称已显著改善了这一问题。

在未来,扎伦巴和 Anthropic 的安全研究人员 Carlini 表示,他们希望能进一步加强合作,继续进行更多的安全测试,并期待其他 AI 实验室能够参与到这一合作中来,共同推动行业的安全标准。

划重点:  

🌟 OpenAI 与 Anthropic 首次联合测试 AI 模型,推动行业安全合作。  

🔍 研究揭示不同 AI 模型在幻觉现象和回答问题上的差异。  

🛡️ AI 模型的 “拍马屁” 行为引发关注,强调在心理健康问题上的谨慎反应。  

相关资讯

仅 4% 职业高度依赖,但中高工资岗位受影响最大!

根据人工智能公司 Anthropic 的研究,只有大约4% 的职业在其工作中使用 AI 的比例超过75%。 这项研究探讨了其 Claude 模型的使用情况,发现大约36% 的职业在至少25% 的工作任务中纳入了 AI 的使用。 这些发现与之前的报告一致,表明很少有企业全面接受这项技术。
2/11/2025 4:19:00 PM
AI在线

​未来五年,AI 可能取代一半入门级白领工作

在最近的一次采访中,Anthropic 公司的首席执行官达里奥・阿莫代伊(Dario Amodei)发出了一个引人注目的警告。 他表示,随着人工智能(AI)技术的快速发展,未来五年内,可能会有一半的入门级白领工作被取代,而失业率则可能飙升至10% 到20%。 阿莫代伊强调,许多工人并没有意识到这种变化即将到来,很多人对此感到难以置信。
5/30/2025 11:00:54 AM
AI在线

​英国将 “AI安全研究所” 更名为 “AI安全研究院”,加速AI产业发展

英国政府近期宣布,将原本名为 “AI 安全研究所” 的机构更名为 “AI 安全研究院”,此举标志着政府在 AI 领域战略的重大转变。 新的名称不仅反映了机构的职能变化,也表明了英国政府在推动 AI 产业发展方面的坚定决心。 图源备注:图片由AI生成,图片授权服务商Midjourney这一变化由科学、工业与技术部公布,新的 AI 安全研究院将重点关注网络安全,旨在 “加强对 AI 对国家安全及犯罪风险的保护”。
2/14/2025 10:04:00 AM
AI在线
  • 1