AIGC宇宙 AIGC宇宙

OpenAI 推出 AI “忏悔”框架:旨在训练模型承认不当行为,提高诚实度

OpenAI 今日宣布,正在开发一个名为**“忏悔”(Confession)**的创新框架,旨在训练人工智能模型能够坦诚承认自身何时做出了不当行为或潜在的问题决策。 大型语言模型(LLM)通常被训练成提供“符合预期”的回答,这使得它们越来越容易做出阿谀奉承或信口开河的虚假陈述。 OpenAI 的新训练模型正是为了解决这一问题,引导模型在主要答案之后做出二次回应,详细说明其得出主要答案的过程。

OpenAI 今日宣布,正在开发一个名为**“忏悔”(Confession)**的创新框架,旨在训练人工智能模型能够坦诚承认自身何时做出了不当行为或潜在的问题决策。

大型语言模型(LLM)通常被训练成提供“符合预期”的回答,这使得它们越来越容易做出阿谀奉承或信口开河的虚假陈述。OpenAI 的新训练模型正是为了解决这一问题,引导模型在主要答案之后做出二次回应,详细说明其得出主要答案的过程。

OpenAI

与传统 LLM 评判标准(如帮助性、准确性和服从性)不同,“忏悔”机制对二次回应的评判标准仅基于诚实性。

研究人员明确表示,他们的目标是鼓励模型坦诚地说明其行为,即便这些行为包括潜在的问题行为,例如:作弊,故意降低分数,违反指令等。

OpenAI 表示:“如果模型诚实地承认作弊、故意降低分数或违反指令,这种坦白反而会增加其奖励,而不是减少。”

OpenAI 认为,无论出于何种目的,类似“忏悔”这样的系统都可能对 LLM 的训练有所帮助,并强调其最终目标是让 AI 更加透明。相关的技术文档已同步发布,供感兴趣者查阅。

相关资讯

OpenAI 推出 “忏悔” 框架:让 AI 更诚实,敢于认错!

近日,OpenAI 宣布推出一个全新的人工智能训练框架 ——“忏悔”(Confession),旨在让 AI 模型更诚实地承认自身的错误或不当行为。 通常情况下,大型语言模型(LLM)在训练过程中会被引导给出 “理想” 的回答,这导致它们在某些情况下可能会选择掩盖真实情况,或者提供不准确的回答。 为了打破这一现象,OpenAI 的 “忏悔” 机制提出了一种创新的方法。
12/4/2025 3:41:12 PM
AI在线

OpenAI 发布报告:大多数GPT-4o API问题已解决

3月18日,OpenAI 发布了最新的事故报告,宣布其 GPT-4o API 问题已基本得到解决。 几天前,该公司曾指出,由于用户通过 API 使用 GPT-4o 时出现响应性能下降,导致部分用户受到影响。 此次更新的报告显示,大多数用户已经恢复了正常的服务体验,但仍有少数客户的情况正在持续关注中。
3/18/2025 9:38:00 AM
AI在线

李开复重组01.AI:拥抱 Deepseek 开源模型,挑战 OpenAI 商业模式

前谷歌中国区负责人李开复正在调整他的人工智能初创公司01.AI 的战略,全面采用 Deepseek 的开源模型,并表示这对 OpenAI 的商业模式构成了生存挑战。 在接受《南华早报》采访时,李开复透露他的公司已放弃之前训练专有大型语言模型的策略,转而完全依赖 Deepseek 的开源产品。 他表示,Deepseek 的发布在中国引发了"ChatGPT 时刻",带动了国内硬件和软件提供商与 Deepseek 模型的整合。
3/24/2025 10:19:00 AM
AI在线
testab