AIGC宇宙 AIGC宇宙

安全

周鸿祎谈AI幻觉与网络安全:问题不可夸大也不应忽视

周鸿祎谈AI幻觉与网络安全:问题不可夸大也不应忽视
在今年全国两会前夕，全国政协委员、360集团创始人周鸿祎就DeepSeek大模型及AI安全问题发表看法，强调正确认识AI安全，既不可夸大也不应忽视。 周鸿祎指出，当前AI安全议题需警惕被夸大的趋势。 他批评以OpenAI为代表的美国五大AI公司倾向于通过渲染AI不安全来为其垄断和闭源策略辩护，借此推动政府加强监管，阻挠后来者追赶。
3/4/2025 12:00:28 PM
AI在线
如何安全地使用第三方应用程序访问DeepSeek

如何安全地使用第三方应用程序访问DeepSeek
译者 | 张哲刚审校 | 重楼AI编码助手改变了开发人员编写软件的方式。 它们可以自动执行重复性的任务，及早发现错误，进而加快开发进度。 但是，并不是所有的AI 编码工具在构建时都考虑到了安全性这个重要的问题。
2/28/2025 5:03:43 PM
张哲刚
AI再次突破安全红线，留给人类不到一年治理窗口

AI再次突破安全红线，留给人类不到一年治理窗口
人工智能的发展与棋类游戏有着不解的缘分，从1962年跳棋程序首次战胜人类棋手，到1997年IBM深蓝击败国际象棋棋王，再到2016年阿法狗击败李世石，每一次AI浪潮都率先在棋盘上取得突破。 但是，AI最近在棋盘上的“炸裂”表现，却让全球科技行业不寒而栗。 根据Palisade Research一项最新AI安全研究，像OpenAI的o1-preview这样的新型AI在面对强大对手时，若察觉胜算渺茫，并不总是推枰认输，而是可能通过毫无底线的“作弊”手法翻盘——比如直接入侵对手系统，迫使对方自动放弃比赛。
2/27/2025 9:26:58 AM
佚名
韩国下架DeepSeek的安全反思

韩国下架DeepSeek的安全反思
据韩联社2月17日报道，韩国个人信息保护委员会（PIPC）于本周一宣布，即日起暂停中国人工智能初创企业深度求索（DeepSeek）旗下聊天机器人应用在韩国应用商店的新用户下载服务，以审查其是否符合韩国《个人信息保护法》。 已安装用户仍可正常使用，但被建议避免输入敏感个人信息。 DeepSeek承认“欠考虑”根据PIPC公告，此次限制措施自2月15日下午6时生效，主要针对苹果AppStore和谷歌Play商店的韩国本地版本。
2/18/2025 11:08:41 AM
佚名
DeepSeek 火爆了，主打高性能低价格！

DeepSeek 火爆了，主打高性能低价格！
大家好，我是君哥。 春节这几天，DeepSeek 可以说是火爆了，铺天盖地都是 DeepSeek 的报道。 今天，我们一起学习一下 DeepSeek。
2/3/2025 12:00:15 AM
朱晋君
AI机器人的头号威胁：大模型越狱

AI机器人的头号威胁：大模型越狱
随着ChatGPT等AI聊天机器人以及基于大语言模型的应用席卷全球，越来越多的公司开始将这种技术引入机器人控制。 然而，最新研究发现，黑客可以通过自动化方式轻松绕过AI系统的安全防护，甚至能够操控机器人执行极具破坏性的任务，例如控制自动驾驶系统撞向行人，或者将机器狗引导到敏感地点实施爆炸任务。 从文本到行动：大模型赋能机器人大语言模型的核心功能类似于智能手机的“自动补全”，通过分析用户输入内容预测下一步操作。
12/13/2024 3:41:46 PM
佚名
前员工爆料，OpenAI AGI 安全团队已流失近半成员

前员工爆料，OpenAI AGI 安全团队已流失近半成员
OpenAI 一直致力于开发能够造福全人类的人工智能技术，然而最近的一份报告揭示了一个令人担忧的现象：近一半曾专注于超级智能 AI 长期风险的研究人员已经离开了这家公司。图源 Pexels据 Fortune 报道，OpenAI 前治理研究员 Daniel Kokotajlo 表示，在过去几个月里，OpenAI 几乎一半的 AGI 安全团队成员已经离职。这引发了外界对公司是否正在忽视 AI 安全性的担忧。AGI 安全研究人员主要负责确保未来开发的 AGI 系统不会对人类构成生存威胁。然而，随着 OpenAI 越来越专
8/30/2024 9:40:02 AM
远洋
阿尔特曼：OpenAI 公司为 AI 安全工作分配至少 20% 计算资源

阿尔特曼：OpenAI 公司为 AI 安全工作分配至少 20% 计算资源
感谢OpenAI 首席执行官山姆・阿尔特曼（Sam Altman）昨日（8 月 1 日）在 X 平台发布推文，宣布为 AI 安全相关研究和开发工作，保障提供至少 20% 计算资源。AI在线翻译该推文内容如下：OpenAI 在 AI 安全方面的简要更新正如我们在 7 月下旬所说的，我们保障调配至少 20% 的计算资源，用于 AI 安全方面的工作。我们已经和美国人工智能安全研究所达成协议，让其提前访问我们的下一代基础模型，以便我们能够共同推动人工智能评估的科学发展。对此我们感到很兴奋！对于现任和前任员工能提出关于 AI
8/2/2024 2:46:50 PM
故渊
15 个 AI 模型只有 3 个得分超 50%，SIUO 跑分被提出：评估多模态 AI 模型的安全性

15 个 AI 模型只有 3 个得分超 50%，SIUO 跑分被提出：评估多模态 AI 模型的安全性
最新发表在 arXiv 的研究论文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型，处理用户的多模态输入（例如一起输入图片和文本内容）之后，输出结果并不安全。这项研究标题为《跨模态安全调整》（Cross-Modality Safety Alignment），提出了一个全新的“安全输入但不安全输出”（SIUO），涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个安全领域。研究人员说，大型视觉语言模型（LVL
6/25/2024 9:12:58 AM
故渊
OpenAI 回应员工担忧：支持监管，必要保障措施到位前不发 AI 新技术

OpenAI 回应员工担忧：支持监管，必要保障措施到位前不发 AI 新技术
OpenAI 和谷歌 DeepMind 员工联名发声，担忧高级 AI 风险巨大，亟需加强监管，对此 OpenAI 今天发布声明，强调该致力于提供功能强大且安全的人工智能系统。IT之家翻译 OpenAI 公司官方声明内容如下：我们为自己能提供能力最强、最安全的人工智能系统而感到自豪，并坚信我们能以科学的方法应对风险。鉴于 AI 技术的重要性，我们认同公开信中的内容，如何通过严肃的讨论，对于更好推进 AI 技术发展至关重要。我们将继续接触各国政府、民间社会和世界各地的其他社区，共同营造和谐的 AI 环境。包括匿名诚信热
6/5/2024 11:10:02 AM
故渊
OpenAI 又一吹哨人离职！拉响安全警报，风险隐患实在太大

OpenAI 又一吹哨人离职！拉响安全警报，风险隐患实在太大
OpenAI 离职潮中，又一研究员官宣离职，并且还发出了“警告”信息：Ilya 和 Jan Leike 的担忧正是我的担忧，还有一些额外的问题。我们需要做更多事来改进决策流程等基础性的事务，包括问责制、透明度、文档、策略执行、如何谨慎使用技术，以及减轻不平等、权利和环境影响的措施。主人公名叫 Gretchen Krueger（简称格姐），是 OpenAI 的 AI 策略研究员。她在 2019 年加入 OpenAI，参与过 GPT-4 和 DALL・E 2 的开发工作，还在 2020 年领导了 OpenAI 第一个全
5/26/2024 5:52:30 PM
远洋
OpenAI 高管 Jan Leike 离职，批判公司内部已不再将“安全”视为优先

OpenAI 高管 Jan Leike 离职，批判公司内部已不再将“安全”视为优先
感谢继 OpenAI 共同创始人 Ilya Sutskever 离职之后，另一名 OpenAI 高管 Jan Leike 在 X 平台发布贴文，宣布他已经在上周离开公司。据悉，Jan Leike 是 OpenAI 旗下 Superalignment（超级对齐）团队的共同主管，他表示最近几年 OpenAI 已经不惜内部文化，忽视安全准则，执意高速推出“吸引眼球”的产品。IT之家经查询得知，OpenAI 在 2023 年 7 月设立 Superalignment 团队，任务是“确保那些具备‘超级智能’、‘比人类还聪明’
5/21/2024 1:43:20 PM
漾仔
OpenAI发布新安全框架，董事会有权否决CEO发布新模型

OpenAI发布新安全框架，董事会有权否决CEO发布新模型
机器之能报道编辑：吴昕人类正在进入生成式 AI 新时代。而 OpenAI 在引导新技术朝着符合人类价值观和安全标准的方向所做的努力，也被视为行业的路标。还记得 Sam Altman 回归 OpenAI 时提到的「三个当务之急」吗？首当其冲的就是险些将他踢出公司的安全问题。现在，OpenAI  正力图系统化他们的安全思维。「我们的准备团队正在开展开创性工作，将安全发展成为一门定量科学。」 OpenAI 总裁 Greg Brockman 在社交平台上表示。本周一，公司在其网站上公布的一项计划，制定了一个框架来解决其最先
12/19/2023 3:08:00 PM
机器之能
  • 1