众力资讯网

iPhone 18 Pro跑270亿参数大模型,速度直接翻倍!苹果的“端侧AI”

iPhone 18 Pro跑270亿参数大模型,速度直接翻倍!苹果的“端侧AI”野心藏不住了
手机跑AI大模型,到底能有多快?
9月19日,开发者Adrien Grondin放出了一段实测视频。他在iPhone 18 Pro上本地运行了一个270亿参数的大语言模型Bonsai 27B,全程没有联网,生成速度是iPhone 17 Pro的两倍。
实测设备搭载的正是苹果最新的A20 Pro芯片。这意味着,你手里的手机已经具备了“离线运行一个中等规模AI模型”的能力。
为什么能快一倍?两个硬件“狠活”
A20 Pro是苹果首款2nm手机芯片,也是苹果历史上第一次用上双神经网络引擎设计,从上一代的16核直接翻倍到32核。
苹果官方数据显示,这颗芯片的AI算力是A19 Pro的两倍,内存带宽提升了50%,达到了115.2GB/s。AI推理最吃内存带宽,这一步提升直接把瓶颈给踹开了。
另一个容易被忽略的细节是封装方式的改变。A20 Pro把芯片和内存并排放置,让内存不再阻挡芯片的散热路径,芯片可以直接贴合均热板。配合面积翻了三倍的均热板,持续性能比上代提升了40%。跑大模型不降频,速度才能稳住。
但有一个“硬伤”还没解决
Bonsai 27B之所以能跑,是因为它用的是1比特量化,体积被压到了极致。
如果换成更先进的Bonsai 2,采用2比特量化后体积依然过大,塞不进iPhone 18 Pro的12GB内存里,强行运行反而会掉速。说白了,芯片算力已经够了,但内存容量拖了后腿。
这也是目前手机跑本地AI的普遍困境:算力年年翻倍,但模型也在变大。想跑更大的模型,下一步就得加内存。
这件事真正的意义
苹果从A20 Pro开始,把“端侧AI”从营销概念推向了可验证的实测阶段。270亿参数模型本地跑,不联网、不传数据,响应速度还更快——这正是苹果一直强调的隐私优势。
当然,普通用户日常用不到这种硬核场景。但意义在于:当芯片的AI算力开始过剩,开发者就有空间去做更实用的本地智能功能——离线文档总结、实时语音翻译、隐私敏感的图片处理,都不再需要把数据传到云端。
苹果的“端侧AI”路线,从A20 Pro这一代开始,算是真正落地了。