512KB内存跑千万级AI模型！开发者：未来咖啡机都能思考
类别：电脑数码
发布时间：2026-07-28 18:57
7月28日消息，乌克兰独立开发者Slava S近日发布开源项目"ESP32-AI"，在售价仅约8美元（约54元人民币）的ESP32-S3微控制器上，本地运行了参数规模达2890万的语言模型，打破了同级别芯片此前仅能运行数十万参数模型的纪录。
ESP32-S3是物联网领域常见的高性价比微控制器，硬件资源极为有限，仅配备512KB SRAM、8MB PSRAM和16MB闪存。
大型语言模型推理时需要将所有参数载入高速内存完成矩阵运算，此前在该类芯片上的模型纪录约为26万参数，强行载入千万级模型，内存会瞬间耗尽。
为突破硬件瓶颈，Slava参考Google Gemma的“逐层嵌入”架构，对2890万参数的语言模型进行4-bit量化处理，文件大小压缩至14.9MB，并采用分层内存配置。
占用空间最大的嵌入表（约2500万参数）存放在读取速度较慢但容量更大的16MB闪存中，高速的512KB SRAM完全留给核心推理权重运算。
该模型在生成每个Token时只需从闪存调取少数几行数据，不会造成系统性能拥堵，由此达成了结构运算的最优化。
目前该项目仍属于概念验证阶段，只能生成简单短篇虚构故事，不具备通用问答、写代码或执行复杂指令的能力。
但开发者举例指出，微型AI未来可应用于特定领域的智能家电，比如一台无需联网却能精确掌握各类咖啡豆特性、研磨度和最佳冲煮水温的独立智能咖啡机。
热门商城
更多
热门优惠券
更多-
- ROTHSCROOSTER旗舰店满49减16
- 有效期至: 2025-01-25
- 立即领取
-
- 萨布森旗舰店满1299减800
- 有效期至: 2025-01-17
- 立即领取
-
- 哲高玩具旗舰店满69减33
- 有效期至: 2025-01-05
- 立即领取
-
- 戴·可·思官方旗舰店满196减27
- 有效期至: 2025-04-01
- 立即领取
-
- 佳婴旗舰店满30减3
- 有效期至: 2025-01-10
- 立即领取
-
- ROTHSCROOSTER旗舰店满19减8
- 有效期至: 2025-01-25
- 立即领取
-
- 荣业官方旗舰店满20减10
- 有效期至: 2025-01-04
- 立即领取
-
- 戴·可·思（Dexter）母婴京东自营旗舰店满48减10
- 有效期至: 2025-01-12
- 立即领取
-
- KOKOROCARE旗舰店满158减100
- 有效期至: 2025-03-28
- 立即领取
-
- RODEL官方旗舰店满59减30
- 有效期至: 2025-01-02
- 立即领取