Transformer

给机器人装上「虫脑」？非Transformer液态神经网络终于来了！MIT CSAIL负责人创业成果

在大模型时代，谷歌 2017 年开创性论文《Attention Is All You Need》中提出的 Transformer 已经成为主流架构。然而，刚刚一家由 MIT 计算机科学与人工智能实验室 (CSAIL) 前研究人员共同创立的初创公司 Liquid AI 却走出了不一样的路线。Liquid AI 表示他们的目标是「探索构建超越生成式预训练 Transformer (GPT) 基础模型的方法」。为了实现这一目标，Liquid AI 推出了其首批多模态 AI 模型：Liquid Foundation Mod

10/1/2024 2:20:00 PM

机器之心

谁将替代 Transformer？

Transformer 由于其处理局部和长程依赖关系的能力以及可并行化训练的特点，一经问世，逐步取代了过去的 RNN（循环神经网络）与 CNN（卷积神经网络），成为 NLP（自然语言处理）前沿研究的标准范式。今天主流的 AI 模型和产品——OpenAI 的ChatGPT、谷歌的 Bard、Anthropic 的 Claude，Midjourney、Sora到国内智谱 AI 的 ChatGLM 大模型、百川智能的 Baichuan 大模型、Kimi chat 等等——都是基于Transformer 架构。 Transformer 已然代表了当今人工智能技术无可争议的黄金标准，其主导地位至今无人能撼动。

3/27/2024 7:06:00 PM

张进

OpenAI 公关跳起来捂他嘴：Transformer 作者公开承认参与 Q*！

Transformer 作者中唯一去了 OpenAI 的那位，公开承认了：他参与了 Q * 项目，是这项新技术的发明者之一。这几天除了英伟达老黄组局把 Transformer 作者聚齐，他们中的几位还接受了连线杂志的采访，期间出了这么一个小插曲。当记者试图询问 Lukasz Kaiser 更多关于 Q * 的问题时时，OpenAI 的公关人员几乎跳过桌子去捂他的嘴。结合阿尔特曼在接受采访时，毫不迟疑地拒绝了相关提问，“我们还没准备好谈论这个话题”。神秘 Q*，成了 OpenAI 当前最需要保守的秘密之一。不过对于

3/25/2024 6:38:43 PM

清源

资讯热榜

DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜多模态新旗舰MiniCPM-V 4.5：8B 性能超越 72B，高刷视频理解又准又快联合国成立人工智能咨询小组宾州州立大学推出首个人工智能工程学位，抢占教育先机深度测评！谷歌全新AI模型Nano Banana（附30+提示词案例） AI 安全测试揭示聊天机器人助长恐怖活动与网络犯罪 Meta 新超级智能实验室遭遇离职潮，AI 人才流失引发担忧亿万富翁丹・洛布减持台积电，转投另一家万亿人工智能公司

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能 Meta 用户微软 GPT 学习技术图像 Gemini 马斯克 AI创作智能体 Anthropic 英伟达论文 AI新词代码训练算法 Stable Diffusion LLM 芯片蛋白质腾讯开发者 Claude 苹果生成式 AI for Science Agent 神经网络 3D 机器学习研究 xAI 生成人形机器人 AI视频计算百度 Sora GPU 华为 AI设计工具 RAG 大语言模型搜索具身智能字节跳动大型语言模型场景深度学习预测视频生成伟达视觉 Transformer AGI 架构亚马逊神器推荐 Copilot 特斯拉应用 DeepMind