6月11日消息,AMD主导开发的开源本地AI服务器解决方案Lemonade发布了10.7版本,正式集成NVIDIA CUDA后端,首次实现对NVIDIA GPU的完整本地AI推理适配。
Lemonade此前已广泛支持AMD Ryzen AI NPU、Radeon/Instinct GPU、x86_64 CPU及Apple Metal GPU,唯独缺失对NVIDIA产品的专门优化。

此次10.7版本在Windows与Linux双平台上同步集成Llama.cpp的CUDA后端,配合NVIDIA GPU检测功能,用户可在NVIDIA硬件上获得与AMD硬件一致的本地AI体验。
该项目还首次在Linux上加入stable-diffusion.cpp的CUDA后端,同时带来跨厂商的Vulkan扩展支持,进一步拓宽了GPU适配范围。
本次更新还带来Lemonade产品路线中的重要工具lemonade bench,专用于在Llama.cpp、FastFlowLM、vLLM、Ryzen AI等多后端之间进行端到端的LLM推理性能对比,降低开发者测试门槛。
除此之外,LMX-Omni模型支持、原生Prometheus实时监控端点等增强功能一同上线,稳步推进Lemonade向全场景本地AI引擎演进。
值得关注的是,本次CUDA后端的合并是由外部开发者提交,最终由AMD官方合并进主线,标志着AMD向跨厂商AI生态迈出了重要一步。
AMD Lemonade项目持续在GitHub发布开源版本,目前10.7已可通过项目主页下载体验,开发者可根据硬件需求选择适当后端组合,实现从云端API到本地部署的平滑过渡。

丁丁打折网©版权所有,未经许可严禁复制或镜像 ICP证: 湘ICP备2023003002号-11
Powered by 丁丁打折网本站为非营利性网站,本站内容均来自网络转载或网友提供,如有侵权或夸大不实请及时联系我们删除!本站不承担任何争议和法律责任!
技术支持:丁丁网 dddazhe@hotmail.com & 2010-2020 All
rights reserved