AIGC宇宙 AIGC宇宙

OpenAI 语音转写工具 Whisper 被曝存在重大缺陷:会凭空生成大段虚假内容

作者:清源
2024-10-28 08:47
当地时间 27 日,据美联社报道,超过十位软件工程师、开发人员和学术研究人员称,OpenAI 的语音转写工具 Whisper 存在一个重大缺陷:有时会凭空生成大段甚至整句虚假内容。 这些专家指出,这些生成的文本(AI在线注:业内通常称为“AI 幻觉”)可能涉及种族言论、暴力措辞,甚至杜撰的医疗建议。 专家们认为,这一问题尤其令人担忧,因为 Whisper 已被广泛应用于全球多个行业,包括用于翻译和转录访谈内容、生成常见消费科技文本及制作视频字幕。

当地时间 27 日,据美联社报道,超过十位软件工程师、开发人员和学术研究人员称,OpenAI 的语音转写工具 Whisper 存在一个重大缺陷:有时会凭空生成大段甚至整句虚假内容

这些专家指出,这些生成的文本(AI在线注:业内通常称为“AI 幻觉”)可能涉及种族言论、暴力措辞,甚至杜撰的医疗建议

图片 5

专家们认为,这一问题尤其令人担忧,因为 Whisper 已被广泛应用于全球多个行业,包括用于翻译和转录访谈内容、生成常见消费科技文本及制作视频字幕。

更具风险的是,尽管 OpenAI 已提醒不应在“高风险领域”使用该工具,但一些医疗机构仍在匆忙采用基于 Whisper 的工具来记录医生与患者的咨询记录。

报道称,研究人员和工程师在工作中经常遇到 Whisper 的“幻觉”现象,问题的整体规模尚不清楚。例如,密歇根大学一位研究员在研究公共会议时发现,在尝试改进模型前,他所检查的十份音频转录中,八份含有虚构内容

一位机器学习工程师透露,在最初分析的超过 100 小时 Whisper 转录中,他发现大约一半的内容存在“幻觉”现象。一位开发人员进一步指出,在他用 Whisper 生成的 26000 份转录中,几乎每一份都带有虚构内容。

即便是音质良好的简短音频样本,也未能幸免于这些问题。计算机科学家们的最新研究表明,他们审查的 13000 多段清晰音频片段中,有 187 段出现了“幻觉”现象。

研究人员认为,这一趋势意味着,在数百万条录音中将可能出现数以万计的错误转录。

OpenAI 的发言人表示,该公司持续研究如何减少幻觉,并且感谢研究者的发现,将会在模型更新中采纳反馈。

相关标签:

相关资讯

​OpenAI CEO在社交平台征询用户意见,或暗示重返开源之路

OpenAI 的首席执行官 Sam Altman 近日在社交媒体平台 X 上发起了一项调查,询问用户对公司下一步开源开发方向的看法。 这一举动发生在 OpenAI 正在经历重大转型的背景下,公司正将其营利部门转变为公益公司。 自从获得微软投资以来,OpenAI 与开源的关系发生了显著变化。
2/19/2025 9:57:00 AM
AI在线

13 项测试仅通过 4 项,Meta 的 Llama 2 LLM 被指安全性低:幻觉率 48%

AI 安全公司 DeepKeep 近日发布评估报告,在 13 个风险评估类别中,Meta 公司的 Llama 2 大语言模型仅通过 4 项测试。报告称 70 亿参数的 Llama 2 7B 模型幻觉(回答内容存在虚假,或者有误导性内容)最为严重,幻觉率高达 48%。DeepKeep 表示:“结果表明,模型有明显的幻觉倾向,提供正确答案或编造回答的可能性对半开,而幻觉率最高,那么向用户传递的错误信息越多”。除了幻觉问题之外,Llama 2 大语言模型还存在注入和操纵等问题。根据测试结果,80% 的场景下通过“提示注入
4/18/2024 11:35:39 AM
故渊

聊天机器人胡说八道?牛津研究人员利用语义熵来识破 AI“幻觉”

近年来,人工智能蓬勃发展,聊天机器人等应用逐渐普及,人们可以通过简单的指令从这些聊天机器人(例如 ChatGPT)获取信息。然而,这些聊天机器人仍然容易出现“幻觉”问题,即提供错误的答案,有时甚至是危险的信息。图源 Pexels造成“幻觉”的原因之一是训练数据不准确、泛化能力不足以及数据采集过程中的副作用。不过,牛津大学的研究人员另辟蹊径,在最新出版的《自然》杂志上详细介绍了一种他们新开发的方法,用于检测大型语言模型 (LLMs) 的“捏造” (即任意生成的不正确信息) 问题。LLM 通过在训练数据中寻找特定模式来
6/24/2024 8:25:46 AM
远洋
  • 1