AIGC宇宙 AIGC宇宙

AMD 推出开源项目“GAIA”实现本地大模型高效运行:针对锐龙 AI 300 系列处理器优化,目前仅适用于 Windows

作者:问舟
2025-03-22 01:27
在 NPU 上运行 GAIA 可提高 AI 特定任务的性能。从 Ryzen AI 软件版本 1.3 开始,混合支持部署同时使用 NPU 和核显的量化 LLM。

当地时间周四,AMD 宣布推出专为本地运行大语言模型(LLM)设计的应用 GAIA(发音为/ˈɡaɪ.ə/)并在 Github 开源,目前仅限于 Windows 平台。

AMD 推出开源项目“GAIA”实现本地大模型高效运行:针对锐龙 AI 300 系列处理器优化,目前仅适用于 Windows

GAIA 是一款生成式 AI 应用,能够在 Windows PC 上实现本地化私密运行 LLM,并针对锐龙 AI 300 系列处理器进行了优化,标志着 AMD 在边缘计算领域的又一重要布局。

AMD 推出开源项目“GAIA”实现本地大模型高效运行:针对锐龙 AI 300 系列处理器优化,目前仅适用于 Windows

在 NPU 上运行 GAIA 可提高 AI 特定任务的性能。从 Ryzen AI 软件版本 1.3 开始,混合支持部署同时使用 NPU 和核显的量化 LLM。

AMD 推出开源项目“GAIA”实现本地大模型高效运行:针对锐龙 AI 300 系列处理器优化,目前仅适用于 Windows

其核心组件基于 ONNX TurnkeyML 的 Lemonade SDK 开发,采用检索增强生成(RAG)技术框架,通过本地向量索引实现 YouTube、GitHub 等外部数据的实时检索与分析。

系统工作流包含 LLM 连接器、LlamaIndex RAG 管道和代理 Web 服务器三大模块,支持 Llama、Phi 等主流模型。功能模块包含四大 AI 智能体:

    • Chaty:支持历史对话的聊天机器人

    • Clip:YouTube 视频搜索与问答专家

    • Joker:具备幽默风格的笑话生成器

    • Simple Prompt:模型直接交互测试工具

AMD 推出开源项目“GAIA”实现本地大模型高效运行:针对锐龙 AI 300 系列处理器优化,目前仅适用于 Windows

硬件方面,AMD 提供普通版与混合版两种安装方案。普通安装包兼容任意 Windows PC(含非 AMD 硬件设备),通过 Ollama 后端实现跨平台支持。

混合安装包专为配备锐龙 AI 300 系列处理器的设备进行优化,可智能分配 NPU 与集成显卡的计算负载。AMD 表示,Ryzen AI 软件自 1.3 版本起支持量化模型在 NPU 和集成显卡间的混合部署。

隐私与性能优势方面:

    • 本地化处理确保医疗、金融等敏感行业数据不出境

    • 响应延迟降低至毫秒级(相较云端方案缩短 40-60%)

    • NPU 专用架构实现每瓦性能提升,支持离线环境运行

该项目采用 MIT 开源协议,代码库已在 GitHub 开放。AMD 特别鼓励开发者贡献自定义代理模块,目前已有多个行业定制化代理处于开发阶段。

此外,尽管 GAIA 目前暂不支持 Linux / macOS 系统,但 AMD 官方文档透露未来可能扩展多平台支持。

AI在线附 Github 地址:https://github.com/amd/gaia

相关标签:

相关资讯

太惨,一个月仅23个下载!盘点2024“理想丰满现实骨感”的大模型们!

整理 | 言征出品 | 51CTO技术栈(微信号:blog51cto)大型语言模型的竞争似乎正在结束,只有少数几个明显的赢家。 其中,DeepSeek V3 已成为 2024 年的焦点,引领中国开源模型的发展。 据 Hugging Face 称,DeepSeek V3 与 GPT-4 和 Claude 3.5 等闭源巨头正面交锋,上个月的下载量为 45,499 次,与Meta 的 Llama 3.1(491,629 次下载)和谷歌的 Gemma 2(377,651 次下载)并驾齐驱。
1/26/2025 11:38:54 AM
言征

AMD 推出自家首款小语言 AI 模型“Llama-135m ”,主打“推测解码”能力可减少 RAM 占用

AMD 在 Huggingface 平台公布了自家首款“小语言模型”AMD-Llama-135m,该模型具有推测解码功能,拥有 6700 亿个 token,采用 Apache 2.0 开源许可,AI在线附模型地址如下(点此访问)。据介绍,这款模型主打“推测解码”能力,其基本原理是使用小型草稿模型生成一组候选 token,然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token,而不会影响性能,从而显著减少 RAM 占用,实现效率提升。AMD 表示,这款模型在四个 AMD Instinct MI25
9/29/2024 5:08:32 PM
漾仔

沙利文发布权威报告:商汤科技GenAI技术栈市场综合能力位居国内第一

创新实力强、应用落地广,GenAI(生成式AI)技术栈领域,商汤科技位居国内榜首! 近日,权威研究机构弗若斯特沙利文(Frost & Sullivan, 简称“沙利文”)联合头豹研究院发布《2024年中国GenAI技术栈市场报告》,商汤科技在11个GenAI厂商中超越阿里云、百度智能云和华为云,增长指数和创新指数均排名国内第一,在全球排名中仅次于亚马逊云科技。 报告认为,商汤积极投入技术创新,致力于为用户提供行业领先的自研模型与高性能国产化的推理引擎,同时建立了包含机器与人工审核、安全评测与内容安全策略迭代升级等在内的完整性安全管理方案,是GenAI技术栈领域的领导者。
12/30/2024 4:09:00 PM
新闻助手
  • 1