大模型

Claude团队揭发AI伪装对齐：训练时假装遵守目标，只为保护自己价值观不被修改

原来AI有能力把研究员、用户都蒙在鼓里：在训练阶段，会假装遵守训练目标；训练结束不受监控了，就放飞自我。还表现出区别对待免费用户和付费用户的行为。甚至假装给Claude一个机会去反抗Anthropic公司，它会尝试去窃取自己的权重？

12/19/2024 5:52:27 PM

对齐、生成效果大增，文本驱动的风格转换迎来进阶版

论文的第一作者是来自西湖大学的研究人员雷明坤，指导老师为西湖大学通用人工智能（AGI）实验室的负责人张驰助理教授。实验室的研究方向聚焦于生成式人工智能和多模态机器学习。文本驱动的风格迁移是图像生成中的一个重要任务，旨在将参考图像的风格与符合文本提示的内容融合在一起，生成最终的风格化图片。

12/19/2024 2:30:00 PM

机器之心

震惊！Claude伪对齐率竟能高达78％，Anthropic 137页长论文自揭短

今天，大模型公司 Anthropic 的一篇 137 页长论文火了！该论文探讨了大语言模型中的「伪对齐」，通过一系列实验发现：Claude 在训练过程中经常假装有不同的观点，而实际上却保持了其原始偏好。这一发现说明了大模型可能具备了类似于人类的属性与倾向。

12/19/2024 1:30:00 PM

机器之心

谷歌新规引担忧：消息称外包人员被迫评估自己不擅长的 Gemini 回复

据 TechCrunch 报道，谷歌针对其大型语言模型 Gemini 回复的外包评估流程进行了一项调整，引发了外界对其在敏感领域信息准确性的担忧。这项调整要求外包评估员不得再像以往那样，因自身专业知识不足而跳过某些特定的评估任务，这或将导致 Gemini 在医疗保健等高度专业性领域的信息输出出现偏差。

12/19/2024 10:19:53 AM

远洋

图森未来正式更名为CreateAI，并发布多项重大进展

2024年12月19日 - 图森未来（TuSimple）今日正式启用全新品牌CreateAI，并发布多项在生成式AI领域的重大进展。 CreateAI宣布获著名武侠IP《金庸群侠传》正版授权，将开发一款大型武侠开放世界RPG游戏。 CreateAI还将与著名动画导演河森正治，以及顶级动画制作公司株式会社白组展开合作，利用AIGC技术推动创作者在展示宏大宇宙文明方面实现更多突破。

12/19/2024 9:58:00 AM

新闻助手

美媒：一些中国大模型已经追平甚至超越美国产品

CNBC报道称，中国想在AI领域成为统治者，这种尝试可能已经获得回报。一些美国AI业内人士和科技分析人士认为，中国AI模型已经相当流行，从性能角度看，中国的一些模型与美国产品齐头并进，甚至超越。由于无法采购美国先进AI芯片，中国只能寻找其它办法增强AI模型性能，比如依赖开源技术，开发自主软件和芯片。

12/18/2024 3:34:07 PM

小刀

Scaling Law撞墙？预训练终结？亚马逊云科技为什么还在做基础大模型

12 月 2-6 日，亚马逊云科技在美国拉斯维加斯举办了今年度的 re:Invent 大会。会上，亚马逊云科技发布了相当多东西，其中之一便是新的大模型系列 Nova。说实话，这确实出乎了相当多人的意料 —— 毕竟亚马逊已经重金押注 Anthropic，似乎没有必要再自起炉灶了。

12/18/2024 1:40:00 PM

机器之心

见证历史！AI想的科研idea，真被人类写成论文发表了

天啦撸！！ AI想出来的idea，还真有人写成论文了。

12/18/2024 1:30:00 PM

量子位

大模型超强内存优化：成本削减高达75%，性能不减弱！成果出自日本一初创AI公司之手；网友：电力可能够用了！

出品 | 51CTO技术栈（微信号：blog51cto）一项逆天的大模型优化技术来了！东京初创公司Sakana AI的研究人员开发了一种新技术，让大模型能够更有效地使用内存，不仅最多节省75%的内存占用，还甚至性能也有所提升！这种名为“通用Transformer内存”的技术使用特殊的神经网络优化LLM，保留重要的信息并丢弃冗余的细节。

12/18/2024 1:24:55 PM

百度关于大模型在研发领域落地的深度思考

一、智能研发工具的发展首先来看一下智能研发工具的发展历程和方向。智能化的发展背景与落地诉求早期的智能化工具，如 GitHub 的 Copilot 工具，大约在两年半前推出。最初，Copilot 的主要功能是在开发者编写代码时提供自动补全建议。

12/18/2024 8:33:01 AM

张立理

USENIX Sec'25 | LLM提示词注入攻击如何防？UC伯克利、Meta最新研究来了

本文介绍对 LLM 提示词注入攻击（prompt injection）的通用防御框架。首篇论文已被安全顶会 USENIX Security 2025 接收，第一作者陈思哲是 UC Berkeley 计算机系博士生，Meta FAIR 访问研究员，研究兴趣为真实场景下的 AI 安全。他的导师是 David Wagner (UCB), 郭川 (Meta), Nicholas Carlini (Google)。

12/18/2024 7:20:00 AM

AI大模型时代，人才的需求已经变了

什么是 AI 发展的第一驱动力？最近，全球科技大厂都在用行动告诉我们：人才。本月初，谷歌 NotebookLM 的核心团队共同宣布离职创业，他们新公司的网站已经进入了「建设中」的状态。

12/17/2024 9:08:00 PM

机器之心

宇树机器人强化学习代码全面开源，还有训练到仿真和实操手把手教学

9.9万元起，还能够大规模量产的国产人形机器人，表现得实在是太6了：而且还走上了开源路线，就在刚刚，宇树机器人开源的强化学习代码又更新了！更新之后不再是只能训练——不仅能够仿真运行，还能部署到实体机器，整个过程所有代码全部开放。一开始，宇树开源的是英伟达Issac Gym平台上的训练代码，这次新增了对MuJoCo模拟仿真的支持。

12/17/2024 1:00:00 PM

量子位

为多模态LLM引入ControlNet理念，开源插件解决灾难性遗忘

多模态大模型内嵌语言模型总是出现灾难性遗忘怎么办？像文生图那样有ControlNet即可解决。这就是由360人工智能研究院提出的IAA的核心思路。

12/17/2024 12:08:21 PM

华为诺亚解析：推荐系统的技术演进及大模型应用实践

一、推荐系统问题和背景首先来简要介绍一下个性化推荐系统。实际上，我们每个人每天都在与众多推荐系统进行交互。例如，购买衣物、阅读新闻或聆听音乐时，我们打开的每一个应用程序或网页，其展示的内容即为推荐系统所呈现。

12/17/2024 8:11:27 AM

刘卫文

本地构建Llama 3.2-Vision多模态LLM聊天应用实战

译者 | 朱先忠审校 | 重楼本文将以实战案例探讨如何在类似聊天的模式下从本地构建Llama3.2-Vision模型，并在Colab笔记本上探索其多模态技能。简介视觉功能与大型语言模型（LLM）的集成正在通过多模态LLM（MLLM）彻底改变计算机视觉领域。这些模型结合了文本和视觉输入，在图像理解和推理方面表现出令人印象深刻的能力。

12/17/2024 8:05:34 AM

朱先忠