比GB300快40%，AMD跑分靠什么？
AMD MI355X 跑出了首个官方 TileRT 测试成绩（非 AgentX 数据）！该配置在 FP8 精度的 GLM 5.3 上达到了惊人的 470 TPS。这一速度比采用 FP4 精度的 GB300 搭配 TRTLLM 还要快 40% 以上！

让我们恭喜 TileRT x AMD 团队达成的成绩！

具体来说，这套方案采用了解耦配置，就也是预填充引擎运行 vLLM，并解码引擎运行 TileRT。

TileRT 是一款主打超低延迟的推理引擎，通过在 GPU 持久化内核中运行模型解码，能以更快的速度向每个用户输出 token。

不过这还只是开始，后续还有提升空间。目前早期结果显示，与其他引擎相比，TileRT 的 P90 TTFT 相当高。

我们预计通过优化 KV 传输并在解码引擎中引入分页 KV 缓存，能进一步改善这一指标。

AMD 芯片 大模型 算力