本地AI硬件 = 显存容量 × 内存带宽 × 软件栈

• 显存容量：决定你能加载多大模型

• 内存带宽：决定硬件数据吞吐上限（类比设备“换气效率”）

• 软件栈：决定硬件标称性能有多少能真正落地发挥

按内存带宽排序硬件

• Mac Studio M3 Ultra：最高512GB统一内存，带宽819GB/s

• RTX PRO 6000（Blackwell架构）：96GB显存，带宽1792GB/s

• RTX 5090：32GB显存，带宽1792GB/s

• RTX 4090：24GB显存，带宽1008GB/s

• RX 7900 XTX：24GB显存，带宽960GB/s

• Radeon PRO W7900：48GB显存，带宽864GB/s

• AMD Radeon AI PRO R9700：32GB显存，带宽640GB/s

• Intel Arc Pro B65：32GB显存，带宽约608GB/s

• Tenstorrent Wormhole n300：24GB显存，带宽576GB/s

• Tenstorrent Blackhole p150：32GB显存，带宽512GB/s，搭配800G高速互联

• MacBook Pro M5 Max：带宽460–614GB/s

• MacBook Pro M5 Pro：带宽307GB/s

• DGX Spark：128GB统一显存，带宽273GB/s（支持显存一致性+CUDA生态）

• Mac mini M4 Pro：带宽273GB/s

• 锐龙AI Max / 华硕Strix Halo：带宽约256GB/s，显卡可用显存约96GB

• MacBook Air M5：带宽153GB/s

• 骁龙X2 Elite：带宽152–228GB/s

• Intel月湖（Lunar Lake）：带宽136GB/s

• 骁龙X Elite：带宽135GB/s

• Mac mini M4：带宽120GB/s

• Arc Pro B60：24GB显存，带宽约456GB/s

结论点评

1. 显卡依旧是内存带宽性能天花板

2. 苹果优势：单机超大统一内存，无需多卡分片拆分模型

3. 苹果短板：追求极致每秒生成Token数、高并发场景时性能乏力

4. DGX Spark：显存一致性内存架构 + 完整英伟达软件生态

5. 华硕Strix Halo / 锐龙AI Max：首款成熟x86平台统一内存方案

6. Tenstorrent：全开源软件栈，值得期待后续生态成熟

能装下 ≠ 能稳定推理

就算硬件显存能放下模型，运行时仍会产生额外性能开销：

• 解码阶段带宽占用

• KV缓存持续扩容开销

• 模型反量化运算损耗

• 批量推理与多并发负载

• 调度器调度效率损耗

• AI框架本身运行开销

选购核心思考框架（仅三条关键逻辑）

1. 模型、缓存等必须加载的最小显存需求是多少？

2. 业务场景需要哪一档带宽性能？

3. 配套软件栈能否完整释放硬件性能？

极简选购总结

• 英伟达：原始运算速度最快

• Mac Studio M3 Ultra：单设备内存容量天花板

• 华硕Strix Halo：首款成熟x86统一内存主机

• DGX Spark：带统一显存的英伟达专业开发设备

• AMD / Intel Arc：性价比持续提升的替代方案

• Tenstorrent：全套开源软件生态硬件

选购正确思路

该问：我当前业务的性能瓶颈是什么？
而非：哪款硬件综合性能最强？

术语注解（便于理解）

1. unified-memory：统一内存，CPU与显卡共享同一片内存空间

2. coherent memory：一致性显存，多芯片间内存数据实时同步无延迟

3. shard：模型分片，大模型拆分至多块显卡运行

4. KV cache：大语言推理核心缓存，占用显存随对话长度持续增长

5. dequantization：反量化，低精度量化模型推理时还原精度的运算

6. OSS stack：开源软件栈

7. token：文本最小运算单位，tokens/sec即每秒生成文字速度