大模型
如何向大模型注入知识？达摩院通义对话模型SPACE系列探索
如何将人类先验知识低成本融入到预训练模型中一直是个难题。达摩院对话智能团队提出了一种基于半监督预训练的新训练方式，将对话领域的少量有标数据和海量无标数据一起进行预训练，从而把标注数据中蕴含的知识注入到预训练模型中去，打造了 SPACE 1/2/3 系列模型。SPACE-1：注入对话策略知识，AAAI 2022 长文录用；SPACE-2：注入对话理解知识，COLING 2022 长文录用，并获 best paper award 推荐；SPACE-3：集对话理解 对话策略 对话生成于一体的模型， SIGIR 2
10/11/2022 2:16:00 PM
机器之心
Creator 面对面 | 大规模预训练模型的新思考：效率和泛化
自 2018 年谷歌推出 BERT（3.4 亿参数）以来，语言模型开始朝着「大」演进。国内外先后出现了参数量高达千亿甚至万亿的语言模型，比如谷歌的 T5（110 亿）、OpnAI 的 GPT-3（1,750 亿）、华为联合鹏城实验室的盘古（Pangu）（2000 亿），智源研究院的 WuDao2.0（1.75 万亿）……
对于这样的大模型，其背后支撑的是巨额的算力要求。那么对于 AI 民主化，降低模型训练门槛和壁垒，同时兼顾性能和表现，在未来模型的训练上又会有怎样的思考呢？
7/26/2022 3:55:00 PM
SOTA模型
无需训练，自动扩展的视觉Transformer来了
来自德克萨斯大学奥斯汀分校、悉尼科技大学和谷歌的研究者提出了一个无需训练就能自动扩展框架 As-ViT，其能以高效和有原则的方式自动发现和扩展 ViT。
4/10/2022 12:49:00 PM
机器之心
关键点检测项目代码开源了！
作者：闫永强，算法工程师，Datawhale成员 本文通过自建手势数据集，利用YOLOv5s检测，然后通过开源数据集训练squeezenet进行手部关键点预测，最后通过指间的夹角算法来判断具体的手势，并显示出来。文章第四部分为用C 实现整体的ncnn推理（代码较长，可先马后看）一、YOLOV5训练手部检测训练及部署思路类似表情识别，需要将handpose数据集标签改成一类，只检测手部，简化流程，更易上手。此部分数据集来源格物钛 ，具体的效果如图：本教程所用训练环境：系统环境：Ubuntu16.04cuda版本：
3/30/2022 6:11:00 PM
格物钛Graviti
阿里开源 支持10万亿模型的自研分布式训练框架EPL(Easy Parallel Library)
最近阿里云机器学习PAI平台和达摩院智能计算实验室一起发布“低碳版”巨模型M6-10T，模型参数已经从万亿跃迁到10万亿，规模远超业界此前发布的万亿级模型，成为当前全球最大的AI预训练模型。
3/30/2022 6:08:00 PM
阿里云大数据AI技术
图神经网络准确预测无机化合物性质，加速固态电池的设计
编辑/绿萝大规模从头计算与结构预测的进步相结合，在无机功能材料的发现中发挥了重要作用。目前，在无机材料的广阔化学空间中，只发现了一小部分。实验和计算研究人员都需要加速探索未知的化学空间。来自美国国家可再生能源实验室（NREL）、科罗拉多矿业学院和伊利诺伊大学的研究人员展示了一种可以准确预测无机化合物性质的机器学习方法。展示了基态（GS）和更高能量结构的平衡训练数据集，对使用通用图神经网络（GNN）架构准确预测总能量的重要性。该研究可加速固态电池的设计。该研究以「Predicting energy and stabi
12/24/2021 11:19:00 AM
ScienceAI
增大模型依然有用，DeepMind用2800亿参数的Gopher，测试语言系统极限
DeepMind 连发三篇论文，全面阐述大规模语言模型依然在进展之中，能力也在继续增强。近年来，国内外各大 AI 巨头的大规模语言模型（large language model，LLM）一波接着一波，如 OpenAI 的 GPT-3、智源研究院的悟道 2.0 等。大模型已然成为社区势不可挡的发展趋势。然而，当前语言模型存在着一些问题，比如逻辑推理较弱。那么，我们是否可以仅通过添加更多数据和算力的情况下改进这些问题呢？或者，我们已经达到了语言模型相关技术范式的极限？今日，DeepMind「一口气」发表了三篇论文，目的
12/9/2021 2:34:00 PM
机器之心
归一化提高预训练、缓解梯度不匹配，Facebook的模型超越GPT-3
来自 Facebook AI 的研究者提出了 NormFormer，该模型能够更快地达到目标预训练的困惑度，更好地实现预训练困惑度和下游任务性能。
10/27/2021 4:53:00 PM
机器之心
5300亿参数的「威震天-图灵」，微软、英伟达合力造出超大语 言模型
在微软和英伟达的共同努力下， Turing NLG 17B 和 Megatron-LM 模型的继承者诞生了：5300 亿参数，天生强大，它的名字叫做「Megatron-Turing」。
10/12/2021 2:42:00 PM
机器之心
专访唐杰 | 我国首个超大智能模型「悟道」发布，迎接基于模型的AI云时代
唐杰认为，超大规模预训练模型的出现，很可能改变信息产业格局，继基于数据的互联网时代、基于算力的云计算时代之后，接下来可能将进入基于模型的 AI 时代。智源研究院致力于成为这样一个时代的引领者，集聚各方资源力量，构建一个超大规模智能模型技术生态和开放平台，供北京乃至全国的研究人员、开发者和企业使用。
3/30/2021 2:26:00 PM
机器之心
百分点认知智能实验室：基于不完全标注样本集的信息抽取实践
编者按信息抽取是从文本数据中抽取特定信息的一种技术，命名实体识别（Named Entity Recognition, NER）是信息抽取的基础任务之一，其目标是抽取文本中具有基本语义的实体单元，在知识图谱构建、信息抽取、信息检索、机器翻译、智能问答等系统中都有广泛应用。基于监督学习的NER系统通常需要大规模的细粒度、高精度标注数据集，一旦数据标注质量下降，模型的表现也会急剧下降。利用不完全标注的数据进行NER系统的建立，越来越受到专家学者们的关注。第九届国际自然语言处理与中文计算会议（NLPCC 2020）针对此业
3/25/2021 2:12:00 PM
百分点科技
AI模型被「骗」怎么破？《燃烧吧！天才程序员》冠军团队解决方案出炉
前段时间，一档名为《燃烧吧！天才程序员》的竞赛类综艺让「程序员」这一群体成功破圈，也呈现了 AI 在解决实际问题的过程中面临的一些挑战，如数据集中存在对抗样本、图像中存在噪声等。在本文中，CLS 战队（大赛头名团队）的优秀选手、奥比中光算法工程师埼玉详细解读了他们在比赛中用到的解决方案。近日，由蚂蚁集团、清华大学等组织共同协办的首届「Inclusion|A-tech 科技精英赛」(以下简称 A-tech 大赛)圆满落幕。奥比中光科技集团股份有限公司 (以下简称「奥比中光」) 研究院 SDK 组负责人小蛮腰、算法工程
1/21/2021 2:43:00 PM
机器之心
资讯热榜
标签云
人工智能
OpenAI
AIGC
AI
ChatGPT
AI绘画
DeepSeek
数据
模型
机器人
谷歌
大模型
Midjourney
智能
开源
用户
学习
GPT
微软
Meta
图像
AI创作
技术
论文
Stable Diffusion
马斯克
Gemini
算法
蛋白质
芯片
代码
生成式
英伟达
腾讯
神经网络
研究
计算
Anthropic
3D
Sora
AI for Science
AI设计
机器学习
开发者
GPU
AI视频
华为
场景
预测
人形机器人
百度
苹果
伟达
Transformer
深度学习
xAI
模态
字节跳动
Claude
大语言模型
搜索
具身智能
驾驶
神器推荐
文本
Copilot
LLaMA
算力
安全
视觉
视频生成
干货合集
训练
应用
大型语言模型
科技
亚马逊
DeepMind
特斯拉
智能体