大模型

官宣开源阿里云与清华大学共建AI大模型推理项目Mooncake

2024年6月，国内优质大模型应用月之暗面Kimi与清华大学MADSys实验室（Machine Learning, AI, Big Data Systems Lab）联合发布了以 KVCache 为中心的大模型推理架构 Mooncake。通过使用以 KVCache 为中心的 PD 分离和以存换算架构，大幅提升大模型应用Kimi智能助手推理吞吐的同时有效降低了推理成本，自发布以来受到业界广泛关注。近日，清华大学和研究组织9#AISoft，联合以阿里云为代表的多家企业和研究机构，正式开源大模型资源池化项目 Mooncake。

11/28/2024 3:51:00 PM

新闻助手

上海AI实验室版o1已上线！数学竞赛题、Leetcode赛题全拿下，还会玩24点

国产o1新选手登场！它能快速解决更复杂的数学解题、代码编程、数字游戏等任务。这就是上海AI实验室版o1——强推理模型书生InternThinker，刚刚正式开放试用！

11/28/2024 1:40:00 PM

量子位

月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake

本次开源将采用分阶段的方式，逐步开源高性能 KVCache 多级缓存 Mooncake Store 的实现，同时针对各类推理引擎和底层存储 / 传输资源进行兼容。

11/28/2024 1:06:19 PM

汪淼

标记化在LLM中有怎样的重要作用？

译者 | 李睿审校 | 重楼如今，GPT-3、GPT-4或谷歌的BERT等大型语言模型（LLM）已经成为人工智能理解和处理人类语言的重要组成部分。但在这些模型展现出令人印象深刻的能力背后，却隐藏着一个很容易被忽视的过程：标记化。本文将解释标记化的定义，标记化如此重要的原因，以及在实际应用中是否能够规避这一步骤。

11/28/2024 8:15:44 AM

李睿

1行代码改进大模型训练，Llama训练速度提升至1.47倍，全华人团队出品

只要改一行代码，就能让大模型训练效率提升至1.47倍。拥有得州大学奥斯汀分校背景四名华人学者，提出了大模型训练优化器Cautious Optimizers。在提速的同时，Cautious能够保证训练效果不出现损失，而且语言和视觉模型都适用。

11/27/2024 2:30:00 PM

量子位

遗憾不？原来百度2017年就研究过Scaling Law，连Anthropic CEO灵感都来自百度

在追求 AGI 的道路上，Scaling Law 是绕不开的一环。如果 Scaling Law 撞到了天花板，扩大模型规模，增加算力不能大幅提升模型的能力，那么就需要探索新的架构创新、算法优化或跨领域的技术突破。作为一个学术概念，Scaling Law 为人所熟知，通常归功于 OpenAI 在 2020 年发的这篇论文：论文标题：Scaling Laws for Neural Language Models论文链接：、数据量、计算资源增加而指数提升。

11/27/2024 1:40:00 PM

机器之心

提示工程：更好地释放LLM的能力

提示工程，正如其名，主要聚焦于探究如何创作提示词。存在提示工程的一个关键缘由在于，大模型在不同人群的视角下所发挥的作用差异显著。普通使用者往往仅将大模型视作聊天机器人，他们着重关注的是大模型能否迅速且精准地予以反馈。

11/27/2024 10:23:31 AM

greencoatman

如何借助Cortex运行本地LLM

译者 | 布加迪审校 | 重楼AI行业正在经历一场转变，转向更小巧更高效的大语言模型（LLM），从而使用户能够在本地机器上运行模型，无需功能强大的服务器。本教程将指导你借助Cortex运行本地LLM，着重介绍其独特的功能和易用性，使任何拥有标准硬件的人都可以享用AI。注意：Cortex目前正在积极开发中，这可能会导致bug或某些功能无法正常运行。

11/27/2024 8:14:43 AM

布加迪

UC伯克利：给大模型测MBTI，Llama更敢说但GPT-4像理工男

如果你经常在不同大模型之间来回切换，或许会发现不同模型的回复语气有细微差异，如同有不同的性格。那么，LLM究竟有没有「性格」这种维度的特征？最近加州大学伯克利分校发表的新研究VibeCheck就证实了这种推测。

11/26/2024 1:40:00 PM

新智元

吴恩达开源大模型套件：11 个模型平台一种方式调用，已获星标超 1.2K

它把 11 家知名大模型平台集中到了一起，统一了接口，可以用相同的方式调用不同模型。切换模型时，只需要改动一个字符串，不用在不同的 API 之间摸不着头脑了。

11/26/2024 1:03:37 PM

汪淼

提示词：怎样与大模型沟通

同前面讲大模型特点类似，关于如何使用 GPT，我们也会分成两个视角：用户视角和技术视角。这一讲，我们先从用户视角来看看如何用好 GPT。用好 GPT若要充分发挥 GPT 的效用，需遵循以下步骤：首先是定义任务目标。

11/26/2024 11:44:04 AM

greencoatman

【RAG】浅看引入智能信息助理提升大模型处理复杂推理任务的潜力-AssisTRAG

AssisTRAG通过集成一个智能信息助手来提升LLMs处理复杂推理任务的能力。该框架由两个主要组件构成：一个冻结的主语言模型和一个可训练的助手语言模型。 AssisTRAG与之前的RAG对比1.

11/26/2024 8:50:20 AM

余俊晖

OpenAI怒斥Scaling撞墙论！o1已产生推理直觉潜力巨大

最近，OpenAI高级研究副总裁Mark Chen在炉边谈话中，正式否认「Scaling Law撞墙论」。他表示，并没有看到Scaling Law撞墙，甚至OpenAI还有两个范例——o系列和GPT系列，来保持这种Scaling。用他的话说，「我们准确地掌握了需要解决的技术挑战」。

11/25/2024 3:50:00 PM

新智元

Claude 3.5两小时暴虐50多名专家，编程10倍速飙升！但8小时曝出惊人短板

AI智能体离自主研发，还有多远？ Nature期刊的一篇研究曾证明了，GPT-4能自主设计并开展化学实验，还能阅读文档学习如何使用实验室设备。另有Transformer作者之一研发的「世界首个AI科学家」，一口气肝出10篇论文，完全不用人类插手。

11/25/2024 9:10:00 AM

新智元

滴滴ChatBI技术实践：智能数据分析的前沿探索与应用

一、ABI 方向的演进及 ChatBI 领域现状1. BI 产品的演进方向BI 产品的发展经历了从报表式 BI 到自助式 BI 的演变，而当前智能 BI 则吸引了大家的广泛关注与大量投入。无论是早期的增强分析技术，还是如今新兴的 ChatBI 产品形态，其核心目的都在于降低用户利用数据的门槛与成本。

11/25/2024 8:50:24 AM

王涛

火山引擎基于大模型 ChatBI 的演进与实践

一、背景与趋势1. BI 平台演进 - 全面进入智能化在探讨火山引擎 BI 工具的发展历程时，可以清晰地划分为几个关键阶段，这些阶段亦与市面上主流 BI 工具的演进过程相吻合。最初，传统 BI 工具主要聚焦于报表平台，由业务方提出需求，产研团队作为数据的主要生产者，负责制造简单的报表，以辅助经营仪表盘的制作。

11/25/2024 8:20:22 AM

刘然

腾讯混元大模型核心论文曝光：Scaling law、MoE、合成数据以及更多

随着 ChatGPT 的横空出世，大语言模型能力开始在各项领域（传统 NLP、数学、代码等）得到广泛验证，目前已经深刻影响到腾讯混元团队日常生活的方方面面。腾讯混元团队长期致力于大语言模型的探索之路，大模型生产的各个环节开展研究创新以提升其基础能力，并将混元大模型的能力跟业务做深度结合，让生成式 AI 成为业务增长的放大器。大语言模型的设计、训练和优化是一项复杂的系统工程，涉及到模型结构创新、训练范式优化、数据获取和评测设计、关键能力提升和挑战性问题的解决等方方面面。

11/22/2024 5:23:00 PM