AMD GAIA:使用这款先进的软件优化您的 NPU

  • GAIA 允许您使用 AMD 的 NPU 和 iGPU 在本地运行 LLM 模型
  • 有两种使用模式:适用于 Ryzen AI 的混合模式和适用于任何 PC 的通用模式
  • 集成 Lemonade SDK 和 RAG 代理以执行上下文任务
  • 无需互联网连接即可提供隐私、低功耗和高性能

和盖亚

随着当前 生成人工智能,越来越多的用户正在寻找能够让他们直接从自己的计算机运行大型语言模型而无需依赖云服务的解决方案。在此背景下, AMD 推出了 GAIA,一个专为 在配备 Ryzen AI 处理器的计算机上本地运行 LLM 应用程序。

由于结合使用 神经处理单元 (NPU)集成图形处理单元 (iGPU)GAIA 允许您部署先进的人工智能软件,而无需将数据发送到云端。该解决方案体现了 AMD 对实现本地 AI 民主化访问的坚定承诺,方便高级用户和寻求完全控制其工作流程的开发人员采用它。

GAIA 是什么?它有什么用途?

盖亚 是 AMD 创建的开源软件平台,旨在实现 大规模语言模型的执行(LLM) 直接在 Windows 个人计算机上运行,​​专门针对包含以下功能的计算机进行了优化 Ryzen AI 300系列处理器.

使用 GAIA 可以运行对话代理、AI 助手、语义搜索引擎、文本生成器和其他生成人工智能应用程序。 完全本地化,无需互联网连接,从而确保更高的隐私性和更短的响应时间。

和盖亚

GAIA 架构与运作

GAIA 平台基于非常灵活且强大的架构。它的设计允许高效利用系统资源,这得益于 NPU与iGPU混合加速。这导致 性能更佳,能耗更低。它还能够在没有 Ryzen AI 的系统上运行模型,尽管方式不太优化。

有趣的方式

  • 混合模式: 同时利用 AMD 的 NPU 和 iGPU,仅在 Ryzen AI 300 系列 PC 上可用。此模式旨在提供最佳性能。
  • 通用模式: 与任何 Windows 计算机兼容。雇用 奥拉马 作为推理引擎,但无法使用AMD硬件加速,导致性能略低。

Lemonade SDK 集成

GAIA 使用 ONNX TurnkeyML Lemonade SDK 管理模型推理。该 SDK 与 ONNX 兼容,能够高效执行 LLM,并为自定义集成提供与 OpenAI 兼容的 REST 接口。

得益于此 SDK,GAIA 矢量化外部内容,将其存储在 局部向量索引并在管道中使用它 恢复增强发电(RAG)。这种方法允许系统根据用户的特定查询提供更精确、更符合情境的响应。

GAIA 平台中包含的代理

GAIA 最有趣的方面之一是它支持针对不同用途设计的专用 AI 代理:

  • 查蒂: 用于自然对话的聊天机器人代理。
  • 夹: 用于搜索 YouTube 等平台并获取上下文答案的工具。
  • 小丑: 用于有趣互动的笑话生成器。
  • 简单提示: 测试模块以基本方式与 LLM 直接交互。

这些代理很容易集成到 GAIA 架构中,并且可扩展,因此 用户可以创建和连接自己的模块 根据您的需求,正如在其他 AI 工具中看到的那样。

和盖亚

安装 GAIA 的系统要求

为了充分利用 AMD GAIA 混合模式,您需要一台满足特定最低技术要求的计算机:

  • 处理器: AMD 锐龙 AI 300 系列
  • 操作系统: Windows 11(家庭版或专业版)
  • RAM: 最低 16 GB(建议 32 GB)
  • 集成显卡: AMD Radeon 890M
  • 更新的驱动程序: 对于 iGPU 和 NPU

如果您没有支持 NPU 的 AMD 硬件,您也可以使用通用模式安装 GAIA,但某些功能将会丢失。 性能优化 这是通过 NPU 实现的。

如何逐步安装 GAIA

GAIA的安装过程相当简单,只需几分钟即可完成:

  1. 下载安装程序: 从官方 GitHub 存储库中,根据您的硬件选择混合版本或通用版本。
  2. 解压并执行: 解压下载的文件并运行相应的.exe文件。
  3. Seguridad广告: 如果 Windows 显示警告,请单击“更多信息”,然后单击“仍然运行”。
  4. 结尾: 该过程需要 5 到 10 分钟。完成后,将为图形(GUI)和命令行(CLI)版本创建桌面快捷方式。

卸载 GAIA

要从系统中删除 GAIA,请按照以下简单步骤操作:

  • 关闭所有正在使用的实例 (命令行界面和图形用户界面)
  • 删除 GAIA 文件夹 在 AppData 中
  • 删除包含下载模型的文件夹,位于 .cache
  • 删除快捷方式 在桌面上创建

AMD 盖亚

模型兼容性和扩展支持

GAIA 与不同的流行型号兼容,例如 骆驼 y ,涵盖从文本摘要、创意生成、问答到复杂推理等任务。此外,它还重点关注 互通性 得益于对标准的改进支持 昂尼克斯,方便不同模型和应用程序的使用。

2025 年将增加以下新功能:

  • NVIDIA Tensor Core 支持: 扩大对其他品牌硬件用户的支持。
  • 可选云同步: 与 GCP 和 AWS 等平台集成。
  • 量子人工智能工具: 融入量子机器学习经验。

GAIA 相较于其他解决方案的优势

与市场上的其他选项(例如 LM Studio 或 ChatRTX)相比,GAIA 的优势在于:

  • 完全隐私: 无需互联网连接
  • 超低延迟: 不依赖远程服务器
  • 优化性能: 尤其是在配备 Ryzen AI 的电脑上
  • 灵活性和定制化: 您可以创建自己的代理并修改环境

这种方法使 GAIA 成为处理敏感数据或需要完全控制的推理环境的 AI 爱好者和专业人士的理想工具。如果你有 Ryzen AI 处理器,或者只是对 通过家用电脑探索生成式人工智能的世界,GAIA无疑是您可以使用的最完整、最强大的工具之一。


发表您的评论

您的电子邮件地址将不会被发表。 必填字段标有 *

*

*

  1. 负责数据:MiguelÁngelGatón
  2. 数据用途:控制垃圾邮件,注释管理。
  3. 合法性:您的同意
  4. 数据通讯:除非有法律义务,否则不会将数据传达给第三方。
  5. 数据存储:Occentus Networks(EU)托管的数据库
  6. 权利:您可以随时限制,恢复和删除您的信息。