摩尔线程开源音频理解大模型 MooER：基于国产全功能 GPU 训练和推理

2024-08-23 06:21

摩尔线程开源了音频理解大模型 —MooER（摩耳），是业界首个基于国产全功能 GPU 进行训练和推理的大型开源语音模型。基于摩尔线程夸娥（KUAE）智算平台，MooER 大模型用 38 小时完成了 5000 小时音频数据和伪标签的训练。MooER 不仅支持中文和英文的语音识别，还具备中译英的语音翻译能力。在 Covost2 中译英测试集中，MooER-5K 取得了 25.2 的 BLEU 分数，接近工业级效果。摩尔线程 AI 团队在该工作中开源了推理代码和 5000 小时数据训练的模型，并计划进一步开源训练代码和基

摩尔线程开源了音频理解大模型 —MooER（摩耳），是业界首个基于国产全功能 GPU 进行训练和推理的大型开源语音模型。

基于摩尔线程夸娥（KUAE）智算平台，MooER 大模型用 38 小时完成了 5000 小时音频数据和伪标签的训练。

MooER 不仅支持中文和英文的语音识别，还具备中译英的语音翻译能力。在 Covost2 中译英测试集中，MooER-5K 取得了 25.2 的 BLEU 分数，接近工业级效果。

摩尔线程 AI 团队在该工作中开源了推理代码和 5000 小时数据训练的模型，并计划进一步开源训练代码和基于 8 万小时数据训练的模型。

摩尔线程开源音频理解大模型 MooER：基于国产全功能 GPU 训练和推理

MooER 的模型结构包括 Encoder、Adapter 和 Decoder（Large Language Model，LLM）三个部分，具体的模型参数规模如下：

摩尔线程开源音频理解大模型 MooER：基于国产全功能 GPU 训练和推理

AI在线附相关链接：

Github 地址：https://github.com/MooreThreads/MooER

技术文档：https://arxiv.org/pdf/2408.05101

技术演示：https://mooer-speech.mthreads.com:10077/

大模型迎来「开源季」，盘点过去一个月那些开源的LLM和数据集

前段时间，谷歌泄露的内部文件表达了这样一个观点，虽然表面看起来 OpenAI 和谷歌在 AI 大模型上你追我赶，但真正的赢家未必会从这两家中产生，因为有一个第三方力量正在悄然崛起。这个力量就是「开源」。

5/16/2023 2:53:00 PM

机器之心

百川智能发布开源中英文大模型，多个榜单评测成绩最佳

王小川创立的百川智能发布中英文大模型，采用开源模式，可免费商用。报道 | 机器之能2023年6月15日，被称为「中国ChatGPT梦之队」的百川智能公司，推出了70 亿参数量的中英文预训练大模型——baichuan-7B。baichuan-7B不仅在C-Eval、AGIEval和Gaokao中文权威评测榜单上，以显著优势全面超过了ChatGLM-6B等其他大模型，并且在MMLU英文权威评测榜单上，大幅领先LLaMA-7B。目前baichuan-7B大模型已在Hugging Face、Github以及Model Sc

6/15/2023 6:13:00 PM

机器之能