众力资讯网

【8美元的AI单片机:当智能变成廉价基础设施】开发者slvDev在仅售8美元的E

【8美元的AI单片机:当智能变成廉价基础设施】开发者slvDev在仅售8美元的ESP32-S3芯片上成功运行了一个28.9M参数的语言模型,实现了每秒9.5个Token的完全离线推理,功耗仅相当于一颗LED灯。这并非依靠算力暴力破解,而是通过内存映射技术将庞大的嵌入表存入闪存,每次推理仅需从闪存调用约450字节数据,让只有512KB SRAM的微控制器突破了物理极限。虽然这个基于TinyStories训练的模型目前只能讲故事,无法处理复杂逻辑或工具调用,但它证明了边缘智能的门槛已降至两杯咖啡的价格。当行业盲目追求参数爆炸时,这种极端低成本的本地化方案正让AI从昂贵的云端服务转变为随处可见的硬件基础设施,隐私与离线不再是高门槛的特权。 github.com/slvDev/esp32-ai