史上首次!AMD Lemonade SDK新增NVIDIA CUDA支持

快科技6月11日消息,AMD主导开发的开源本地AI服务器解决方案Lemonade发布了10.7版本,正式集成NVIDIA CUDA后端,首次实现对NVIDIA GPU的完整本地AI推理适配。

Lemonade此前已广泛支持AMD Ryzen AI NPU、Radeon/Instinct GPU、x86_64 CPU及Apple Metal GPU,唯独缺失对NVIDIA产品的专门优化。

史上首次!AMD Lemonade SDK新增NVIDIA CUDA支持

此次10.7版本在Windows与Linux双平台上同步集成Llama.cpp的CUDA后端,配合NVIDIA GPU检测功能,用户可在NVIDIA硬件上获得与AMD硬件一致的本地AI体验。

该项目还首次在Linux上加入stable-diffusion.cpp的CUDA后端,同时带来跨厂商的Vulkan扩展支持,进一步拓宽了GPU适配范围。

本次更新还带来Lemonade产品路线中的重要工具lemonade bench,专用于在Llama.cpp、FastFlowLM、vLLM、Ryzen AI等多后端之间进行端到端的LLM推理性能对比,降低开发者测试门槛。

除此之外,LMX-Omni模型支持、原生Prometheus实时监控端点等增强功能一同上线,稳步推进Lemonade向全场景本地AI引擎演进。

值得关注的是,本次CUDA后端的合并是由外部开发者提交,最终由AMD官方合并进主线,标志着AMD向跨厂商AI生态迈出了重要一步。

AMD Lemonade项目持续在GitHub发布开源版本,目前10.7已可通过项目主页下载体验,开发者可根据硬件需求选择适当后端组合,实现从云端API到本地部署的平滑过渡。

史上首次!AMD Lemonade SDK新增NVIDIA CUDA支持

原创文章,作者:admin,如若转载,请注明出处:http://www.kandianxun.com/internet/96208.html

(0)
adminadmin
TI 推出业界高电芯数量、支持 EIS 的电池监测器,为电池管理系统注入智能
上一篇 2小时前
综合续航破千!比亚迪海豹08将于7月初上市:预计售价25万起
下一篇 1小时前

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注