能耗直降31%！Nota新方案让AI推理快52%：NPU管输入GPU管输出
类别：电脑数码
发布时间：2026-11-11 12:56
11月10日消息，在近日举行的AMD Advancing AI World Tour首尔站上，模型轻量化专家Nota AI展示了一项针对AMD异构计算环境的黑科技。
实测显示，通过深度优化显卡与神经网络处理器的协同逻辑，AI推理响应时间最高缩短了52%。
这套方案的核心在于打破了以往处理器“单打独斗”的局面。在AMD锐龙AI Max+395处理器的测试环境中，Nota将推理过程进行了切分。
让神经网络处理器（NPU）负责预填充阶段，专门处理输入信息；而显卡（GPU）则专注于解码阶段，负责最终的响应生成。
这种分工策略充分利用了不同处理器的架构优势。为了进一步榨干性能，Nota实现了两个处理单元共享同一套AI模型权重。这一举措不仅消除了重复加载导致的内存冗余，还让内存使用量显著削减了11%至32%。
在针对阿里通义千问Qwen3-8B开源模型的测试中，这套异构执行环境展现了极高的效率，相比AMD现有的混合方案，其总响应完成时间缩短了28%至52%，单Token能耗降低了31%。
目前这项技术已集成至Nota自家的NetsPresso优化平台。该平台引入了AI Agent机制，能够自动分析硬件特性并制定最优策略。
实测覆盖了Llama、Phi、Mistral等主流模型，响应生成速度比单纯使用NPU执行快了2.5至3.8倍。
热门商城
更多
热门优惠券
更多-
- ROTHSCROOSTER旗舰店满49减16
- 有效期至: 2025-01-25
- 立即领取
-
- 萨布森旗舰店满1299减800
- 有效期至: 2025-01-17
- 立即领取
-
- 哲高玩具旗舰店满69减33
- 有效期至: 2025-01-05
- 立即领取
-
- 戴·可·思官方旗舰店满196减27
- 有效期至: 2025-04-01
- 立即领取
-
- 佳婴旗舰店满30减3
- 有效期至: 2025-01-10
- 立即领取
-
- ROTHSCROOSTER旗舰店满19减8
- 有效期至: 2025-01-25
- 立即领取
-
- 荣业官方旗舰店满20减10
- 有效期至: 2025-01-04
- 立即领取
-
- 戴·可·思（Dexter）母婴京东自营旗舰店满48减10
- 有效期至: 2025-01-12
- 立即领取
-
- KOKOROCARE旗舰店满158减100
- 有效期至: 2025-03-28
- 立即领取
-
- RODEL官方旗舰店满59减30
- 有效期至: 2025-01-02
- 立即领取