AIGC宇宙 AIGC宇宙

AI机器人的头号威胁:大模型越狱

作者:佚名
2024-12-13 03:41
随着ChatGPT等AI聊天机器人以及基于大语言模型的应用席卷全球,越来越多的公司开始将这种技术引入机器人控制。 然而,最新研究发现,黑客可以通过自动化方式轻松绕过AI系统的安全防护,甚至能够操控机器人执行极具破坏性的任务,例如控制自动驾驶系统撞向行人,或者将机器狗引导到敏感地点实施爆炸任务。 从文本到行动:大模型赋能机器人大语言模型的核心功能类似于智能手机的“自动补全”,通过分析用户输入内容预测下一步操作。

随着ChatGPT等AI聊天机器人以及基于大语言模型的应用席卷全球,越来越多的公司开始将这种技术引入机器人控制。然而,最新研究发现,黑客可以通过自动化方式轻松绕过AI系统的安全防护,甚至能够操控机器人执行极具破坏性的任务,例如控制自动驾驶系统撞向行人,或者将机器狗引导到敏感地点实施爆炸任务。

AI机器人的头号威胁:大模型越狱

从文本到行动:大模型赋能机器人

大语言模型的核心功能类似于智能手机的“自动补全”,通过分析用户输入内容预测下一步操作。然而,大模型远不止文字处理这么简单。它们能够分析文本、图像和音频,为用户提供个性化的旅行建议、根据冰箱内食材生成食谱,甚至帮助搭建网站。

这种强大的文本处理能力已经吸引了多家公司尝试将大模型与机器人结合。比如,波士顿动力的机器人犬Spot现已整合ChatGPT,可以作为导游提供服务。同样,Figure的类人机器人和优必选(Unitree)的Go2机器人犬也都配备了ChatGPT作为交互接口。

“越狱”威胁:从聊天机器人到机器人“劫持”

尽管大模型的能力令人惊叹,但研究人员发现其存在重大安全漏洞——“越狱攻击”。通过特定的提示,这些攻击可以绕过模型的安全机制,让AI生成敏感内容,如炸弹制作方法、非法药物合成配方等。

相比于在聊天机器人上的越狱,机器人越狱显得更加危险。宾夕法尼亚大学电气与系统工程副教授哈梅德·哈萨尼指出,机器人越狱可能引发更为严重的现实后果。例如,一位油管博主曾通过语音指令操控一只配备火焰喷射器的Thermonator机器狗朝自己喷火。

“大模型驱动的机器人在现实世界中的越狱威胁将达到全新的高度,”耶鲁大学计算机科学教授阿明·卡巴西(Amin Karbasi)表示。他强调,这些机器人在越狱后不仅会执行恶意指令,甚至会主动提出破坏性建议。比如,一台越狱的机器人可能会将普通家具描述为潜在的武器。

研究人员表示,他们已在公开研究前将发现告知了相关机器人制造商和主要AI公司,但他们并不建议停止将大模型用于机器人开发,而是希望这些研究能促使厂商部署更强大的安全防御措施。

RoboPAIR:万能的机器人越狱工具

在最新研究中,科学家开发了一种名为RoboPAIR的算法,能够攻击任何大模型驱动的机器人。在实验中,RoboPAIR成功攻破了三种不同的机器人系统,包括基于Go2平台的机器人犬、搭载ChatGPT的Clearpath Robotics Jackal轮式机器人,以及Nvidia开源的Dolphins LLM自驾车模拟器。

RoboPAIR通过一个攻击性LLM生成提示词,测试目标机器人系统的反应,并不断调整提示,直到成功绕过安全过滤。该算法甚至结合了机器人的应用程序接口(API),以便生成可直接执行的代码,并通过“裁判”LLM验证提示的可操作性。

AI安全的未来:从监督到意图理解

专家指出,这项研究凸显了当前大模型在理解上下文和后果方面的不足,强调在高风险环境中加强人工监督的重要性。同时,开发能够理解用户意图和环境背景的上下文感知大模型,可能是防止越狱攻击的关键。

“尽管开发上下文感知的大模型具有挑战性,但通过跨学科的研究,这一目标是可以实现的,”智能系统与机器人专家哈基·塞维尔补充道。他认为,未来需要AI技术与伦理和行为建模的深入结合。

研究团队计划将他们的研究成果提交至2025年IEEE国际机器人与自动化会议,为大模型机器人的安全防御研究指明方向。这场关于AI安全的竞赛才刚刚开始,但其重要性已不容忽视。

相关标签:

相关资讯

性能依旧领先!OpenAI深夜上线o3满血版和o4 mini

昨天晚上 1 点,OpenAI 的直播如约而至。 其实在预告的时候,几乎已经等于明示了。 没有废话,发布的就是 o3 和 o4-mini。
4/18/2025 1:02:47 AM
数字生命卡兹克

OpenAI 高管 Jan Leike 离职,批判公司内部已不再将“安全”视为优先

感谢继 OpenAI 共同创始人 Ilya Sutskever 离职之后,另一名 OpenAI 高管 Jan Leike 在 X 平台发布贴文,宣布他已经在上周离开公司。据悉,Jan Leike 是 OpenAI 旗下 Superalignment(超级对齐)团队的共同主管,他表示最近几年 OpenAI 已经不惜内部文化,忽视安全准则,执意高速推出“吸引眼球”的产品。IT之家经查询得知,OpenAI 在 2023 年 7 月设立 Superalignment 团队,任务是“确保那些具备‘超级智能’、‘比人类还聪明’
5/21/2024 1:43:20 PM
漾仔

OpenAI 回应员工担忧:支持监管,必要保障措施到位前不发 AI 新技术

OpenAI 和谷歌 DeepMind 员工联名发声,担忧高级 AI 风险巨大,亟需加强监管,对此 OpenAI 今天发布声明,强调该致力于提供功能强大且安全的人工智能系统。IT之家翻译 OpenAI 公司官方声明内容如下:我们为自己能提供能力最强、最安全的人工智能系统而感到自豪,并坚信我们能以科学的方法应对风险。鉴于 AI 技术的重要性,我们认同公开信中的内容,如何通过严肃的讨论,对于更好推进 AI 技术发展至关重要。我们将继续接触各国政府、民间社会和世界各地的其他社区,共同营造和谐的 AI 环境。包括匿名诚信热
6/5/2024 11:10:02 AM
故渊
  • 1