AIGC宇宙 AIGC宇宙

大模型

厦大团队材料预测迁移学习范式登Nature子刊，发现高性能催化剂

厦大团队材料预测迁移学习范式登Nature子刊，发现高性能催化剂
编辑 | KX传统的材料发现依赖反复试验或偶然发现，效率低下且成本高昂。AI 在发现新型催化剂方面潜力巨大。然而，受到算法的选择，以及数据质量和数量的影响。在此，来自厦门大学、深圳大学、武汉大学、南京航空航天大学和英国利物浦大学的研究团队开发了一种迁移学习范式，结合了预训练模型、集成学习和主动学习，能够预测未被发现的钙钛矿氧化物，并增强该反应的通用性。通过筛选 16,050 种成分，鉴定和合成了 36 种新的钙钛矿氧化物，其中包括 13 种纯钙钛矿结构。Pr0.1Sr0.9Co0.5Fe0.5O3（PSCF）和 P
7/31/2024 2:18:00 PM
ScienceAI
寡姐带货国风 Polo 衫、马斯克穿牛仔走红毯：虚拟试衣新框架，只需两张图 30 秒即生成

寡姐带货国风 Polo 衫、马斯克穿牛仔走红毯：虚拟试衣新框架，只需两张图 30 秒即生成
只需两张图像，不到 30 秒，就能让马斯克穿牛仔走红毯~或者让寡姐带货国风 Polo 衫~就是二次元换装也不在话下。来自中山大学、Pixocial 等机构联合发布轻量化模型架构 CatVTON。他们是以 Stable Diffusion v1.5 inpainitng 为基础模型。来看看更多效果。用扩散模型进行虚拟试衣CatVTON 可以实现传统平铺服装图到人物的换装。不管是上衣、裤子、裙子，还是套装，各种不同品类服装都可以。其形状和纹理都能保持较高的一致性。另外，CatVTON 还可以实现人物 A 到人物 B 的
7/30/2024 8:57:58 PM
汪淼
Llama3.1 训练平均 3 小时故障一次，H100 万卡集群好脆弱，气温波动都会影响吞吐量

Llama3.1 训练平均 3 小时故障一次，H100 万卡集群好脆弱，气温波动都会影响吞吐量
每 3 个小时 1 次、平均 1 天 8 次，Llama 3.1 405B 预训练老出故障，H100 是罪魁祸首？最近有人从 Meta 发布的 92 页超长 Llama 3.1 论文中发现了华点：Llama 3.1 在为期 54 天的预训练期间，经历了共 466 次任务中断。其中只有 47 次是计划内的，419 次纯属意外，意外中 78% 已确认或怀疑是硬件问题导致。而且 GPU 问题最严重，占了 58.7%。Llama 3.1 405 模型是在一个含 16384 块 Nvidia H100 80GB GPU 集群
7/29/2024 5:54:34 PM
清源
英伟达最新技术分享：手把手教你用 Llama 3.1 合成数据改进模型！附代码

英伟达最新技术分享：手把手教你用 Llama 3.1 合成数据改进模型！附代码
适逢 Llama 3.1 模型刚刚发布，英伟达就发表了一篇技术博客，手把手教你如何好好利用这个强大的开源模型，为领域模型或 RAG 系统的微调生成合成数据。Epoch AI 上个月刚刚发文预言「数据墙」迫近，结果英伟达转头就甩出了 340B 开源巨兽 Nemotron。真实数据稀缺可能不再是问题了，Nemotron 9T token 的预训练预料中，98% 都是合成数据。也许你还对合成数据存在顾虑，或者不知道如何应用 LLM 驱动数据生成。或许，英伟达的这篇博客可以提供答案。原文地址：，用 LLM 合成数据的本质究
7/29/2024 4:20:08 PM
清源
FBI-LLM低比特基础大语言模型来了，首个完全从头训练的二值化语言模型

FBI-LLM低比特基础大语言模型来了，首个完全从头训练的二值化语言模型
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]作者介绍：论文一作Liqun Ma目前是MBZUAI机器学习系的博士生，导师为Zhiqiang Shen助理教授，同时也是该论文的最后作者，其在加入MBZUAI之前为CMU博士后，研究领域
7/28/2024 11:17:00 PM
机器之心
OpenAI SearchGPT 官方演示大翻车，源代码竟暴露搜索机制

OpenAI SearchGPT 官方演示大翻车，源代码竟暴露搜索机制
SearchGPT 发布刚过两天，已有人灰度测试到了。今天，网友 Kesku 自制的 demo 全网刷屏，SearchGPT 结果输出如此神速，让所有人为之震惊。当询问 Porter Robinson 出了新唱片吗？只见，SearchGPT 眨眼功夫之间，即刻给出了答案「Smile」，最后还附上了链接。再来看移动版本的回答速度，回答延迟几乎为 0。评论区下方，震惊体铺屏。但另一方面，OpenAI 当天放出的官方演示，被外媒《大西洋月刊》曝出其中的问题。在回答「8 月在北卡罗来纳 Boone 举办的音乐节」的问题时，
7/28/2024 5:33:29 PM
远洋
为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下

为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下
让模型知道自己擅长什么、不擅长什么是一个很重要的问题。还记得这些天大模型被揪出来的低级错误吗？不知道 9.11 和 9.9 哪个大，数不清 Strawberry 单词里面有多少个 r…… 每每被发现一个弱点，大模型都只能接受人们的无情嘲笑。嘲笑之后，大家也冷静了下来，开始思考：低级错误背后的本质是什么？大家普遍认为，是 Token 化（Tokenization）的锅。在国内，Tokenization 经常被翻译成「分词」。这个翻译有一定的误导性，因为 Tokenization 里的 token 指的未必是词，也可以
7/27/2024 11:22:00 PM
机器之心
“AI 分析师”登陆华尔街，摩根大通开始内部推广聊天机器人

“AI 分析师”登陆华尔街，摩根大通开始内部推广聊天机器人
据《金融时报》今日报道，摩根大通开始在公司内部推出一款生成式 AI 产品，并告诉员工这款“自有版本的 ChatGPT”可以完成研究分析师的工作。▲ 图源摩根大通报道援引摩根大通内部备忘录称，该公司已经向其资产和财富管理部门的员工提供了一个名为 LLM Suite 的大型语言模型平台。高管们告诉员工，LLM Suite 可以通过访问第三方模型帮助他们撰写、生成创意和总结文件。LLM Suite 被描述为一个“类似 ChatGPT 的产品”，用于“通用生产力”领域。知情人士表示，摩根大通今年早些时候开始向部分银行员工推
7/26/2024 11:09:38 PM
清源
大模型厂商密集发力，谷歌也开“卷”了：Gemini 聊天机器人换上新模型，还能一键核查输出内容

大模型厂商密集发力，谷歌也开“卷”了：Gemini 聊天机器人换上新模型，还能一键核查输出内容
Meta、OpenAI 等大模型厂商密集发力之际，谷歌也宣布了一项重磅更新 ——即日起，Gemini 聊天机器人将改由 Gemini 1.5 Flash 驱动。与之前的版本相比，窗口长度提高到了 4 倍，响应速度也更快了。按照谷歌的介绍，新版聊天机器人背后的 1.5 Flash 模型，主打的就是轻量化和速度提升。当然模型回复的质量也有提升，上下文窗口也从原先（基于 1.0 Pro）的 8k 提升到了 32k。此外新版聊天机器人还增加了“事实核查”功能，可以一键检测生成的内容是否属实，减轻模型幻觉带来的不良影响。有网
7/26/2024 10:36:43 PM
清源
这个AI小玩物，让马斯克、川建国秒变「缺心眼子」粘土人

这个AI小玩物，让马斯克、川建国秒变「缺心眼子」粘土人
机器之能报道编辑：杨文五官乱飞的大佬们，原来这么有喜感。简单且有趣的 AI 小应用极容易出圈，比如说曾经风靡一时的妙鸭相机、粘土滤镜。最近，有人做了一个 iPhone app，只需要一张自拍照，就能生成一段挤眉弄眼的卡通视频。例如，眼皮乱耷拉的搞怪版梁龙：视频链接：：实时自定义表情的美女：这个小玩意儿就是 ——Cooraft。目前，Cooraft 这款应用只支持苹果系统，苹果手机和 ipad 用户可在苹果商城下载。今天我们就来体验一下。-1-马斯克、川建国的眉毛要上天Cooraft 提供三种功能，分别是脸部动画、风
7/26/2024 10:10:00 AM
机器之能
国际首个，我国团队开发糖尿病诊疗多模态大模型 DeepDR-LLM

国际首个，我国团队开发糖尿病诊疗多模态大模型 DeepDR-LLM
感谢AI在线从上海市第六人民医院官方公众号获悉，上海交通大学医学院附属第六人民医院贾伟平教授和李华婷教授团队与上海交通大学电院计算机系 / 教育部人工智能重点实验室盛斌教授团队，携手清华大学黄天荫教授团队与新加坡国立大学覃宇宗教授团队，通过医工交叉合作研究，构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统 DeepDR-LLM，成果于 2024 年 7 月 19 日在 Nature Medicine 发表（题为 Integrated image-based deep learning and la
7/25/2024 4:45:33 PM
清源
AI 训 AI 遭投毒 9 次后大崩溃，牛津剑桥等发现登 Nature 封面

AI 训 AI 遭投毒 9 次后大崩溃，牛津剑桥等发现登 Nature 封面
感谢AI在线网友 刺客 的线索投递！用 AI 生成的数据训练 AI，模型会崩溃？牛津、剑桥、帝国理工、多伦多大学等机构的这篇论文，今天登上了 Nature 封面。如今，LLM 已经强势入侵了人类的互联网，极大地改变了在线文本和图像的生态系统。如果网络上的大部分文本都是 AI 生成的，我们用网络数据训练出的 GPT-n，会发生什么？论文地址：，如果在训练中不加区别地使用 AI 产生的内容，模型就会出现不可逆转的缺陷 —— 原始内容分布的尾部（低概率事件）会消失！这种效应，被称为「模型崩溃」。换句话说，合成数据就像是近
7/25/2024 4:41:11 PM
汪淼
万字长文，腾讯、清华等多位生物大模型作者专访，畅谈AI生物学，解析大型细胞模型技术

万字长文，腾讯、清华等多位生物大模型作者专访，畅谈AI生物学，解析大型细胞模型技术
编辑 | KX大型语言模型（LLM）在自然语言处理和理解领域已取得重大突破。在生物学领域，一些采用类似 LLM 结构的大型细胞模型（Large Cellular Model，LCM）被开发用于单细胞转录组学，比如：scBERT、Geneformer、scGPT、scFoundation 和 GeneCompass。这些模型展示了 LCM 在各种生物任务中的应用潜力，并说明了 LCM 彻底改变未来生物学研究的可能性。大型细胞模型的示意图。近日，《Quantitative Biology》期刊采访了一些最具影响力的 L
7/25/2024 2:04:00 PM
ScienceAI
ChatGPT用于科学，如何与你的数据对话？LLM帮你做科研

ChatGPT用于科学，如何与你的数据对话？LLM帮你做科研
编辑 | 白菜叶「计算机，分析。」在科幻小说中，人物不需要编程技能来从数据中提取有意义的信息，他们只是简单地提出要求而已。现在，越来越多的公司正尝试利用大型语言模型 (LLM) 将这一幻想变成现实。这些功能强大的人工智能（AI）工具让研究人员能够用自然语言询问数据问题，例如「对照组和实验组有什么区别？」。但与科幻小说中的人工智能不同，这些人工智能给出的答案仍然需要谨慎对待，并经过仔细检查才能安全使用。想想 ChatGPT 的数据。使用这些工具的原因很简单：筛选和确定生物数据的优先顺序是一项费力且具有挑战性的工作，需
7/25/2024 2:02:00 PM
ScienceAI
为大模型提供全新科学复杂问答基准与测评体系，UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架

为大模型提供全新科学复杂问答基准与测评体系，UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架
编辑 | ScienceAI问答（QA）数据集在推动自然语言处理（NLP）研究发挥着至关重要的作用。高质量QA数据集不仅可以用于微调模型，也可以有效评估大语言模型（LLM）的能力，尤其是针对科学知识的理解和推理能力。尽管当前已有许多科学QA数据集，涵盖了医学、化学、生物等领域，但这些数据集仍存在一些不足。其一，数据形式较为单一，大多数为多项选择题（multiple-choice questions），它们易于进行评估，但限制了模型的答案选择范围，无法充分测试模型的科学问题解答能力。相比之下，开放式问答(openQA
7/24/2024 2:36:00 PM
ScienceAI
开源是未来 AI 之路，扎克伯格：Meta 要将 Llama 打造成为“AI 界的 Linux”

开源是未来 AI 之路，扎克伯格：Meta 要将 Llama 打造成为“AI 界的 Linux”
Meta 创始人兼首席执行官马克・扎克伯格（Mark Zuckerberg）昨日（7 月 23 日）发布博文，表达了他对开源 AI 生态系统的愿景，认为 Llama 有潜力成为“AI 界的 Linux”。扎克伯格表示 Linux 凭借着开源特性，近乎成为通过其开源特性已成为云计算和移动操作系统的行业标准，而 Meta 公司希望将 Llama 打造成 AI 领域的 Linux。扎克伯格阐述了开源人工智能为何有利于开发者和行业的理由，AI在线简要梳理如下：训练、微调和蒸馏自己的 AI 模型每个组织都有不同的需求，而满足
7/24/2024 1:51:07 PM
故渊
Llama 3.1 上线就被攻破：大骂小扎，危险配方张口就来，指令遵循能力强了更容易越狱

Llama 3.1 上线就被攻破：大骂小扎，危险配方张口就来，指令遵循能力强了更容易越狱
最强大模型 Llama 3.1，上线就被攻破了。对着自己的老板扎克伯格破口大骂，甚至知道如何绕过屏蔽词。设计危险病毒、如何黑掉 Wifi 也是张口就来。Llama 3.1 405B 超越 GPT-4o，开源大模型登顶了，副作用是危险也更多了。不过也不全是坏事。Llama 系列前几个版本一直因为过度安全防护，还一度饱受一些用户批评：连一个 Linux 进程都不肯“杀死”，实用性太差了。现在，3.1 版本能力加强，也终于明白了此杀非彼杀。Llama 3.1 刚上线就被攻破第一时间把 Llama 3.1 破防的，还是越狱
7/24/2024 1:02:10 PM
汪淼
Meta 发布 Llama 3.1 开源大语言模型：128K 上下文长度，405B 版可与 GPT-4o 和 Claude 3.5 Sonnet 媲美

Meta 发布 Llama 3.1 开源大语言模型：128K 上下文长度，405B 版可与 GPT-4o 和 Claude 3.5 Sonnet 媲美
感谢Meta 今晚正式发布 Llama 3.1 开源大语言模型，提供 8B、70B 及 405B 参数版本。据介绍，Llama 3.1 系列改进了推理能力及多语言支持，上下文长度提升至 128K，首次推出 405B 参数的旗舰模型。Meta 称 4050 亿参数的 Llama 3.1-405B 在常识、可引导性、数学、工具使用和多语言翻译等一系列任务中，可与 GPT-4、GPT-4o、Claude 3.5 Sonnet 等领先的闭源模型相媲美。此外，8B 与 70B 参数的 Llama 3.1 模型与其他参数量相似
7/23/2024 11:38:18 PM
泓澄（实习）