近日一位ID为Tony Mongkolsmai的用户在推特平台上发帖称:英特尔已经在GitHub上开源了NPU加速库,日后开发人员优化AI应用更方便,目前NPU加速库支持Windows和Linux。
该加速库供开发人员使用使用NPU模型,可以按照相应的文档对AI应用进行优化,适配新一代的AI模型,当前参照GitHub文档可以允许TinyLlama和Gemma-2b-it。
英特尔NPU加速库其实可以理解为是一个Python库,利用NPU的强大的性能在硬件上执行高速计算,以此来提高应用的效率。目前英特尔NPU加速库还在进一步开发当中,未来也将推出更多提高性能的功能,截至目前加速库已经实现了8bit量化等一系列功能,不久还将支持NPU/GPU异构计算。
丁丁打折网©版权所有,未经许可严禁复制或镜像 ICP证: 湘ICP备20009233号-2
Powered by 丁丁打折网本站为非营利性网站,本站内容均来自网络转载或网友提供,如有侵权或夸大不实请及时联系我们删除!本站不承担任何争议和法律责任!
技术支持:丁丁网 dddazhe@hotmail.com & 2010-2020 All
rights reserved