李想说:Thor-U也支持FP4精度推理,未来会将精度逐渐往FP4去优化。 引发了一些争议,很多人觉得不大可能。
确实英伟达通过 Blackwell 架构,开源了多个大模型FP4的优化方案,包括DeepSeek R1、Llama 3.1 405B、 Llama 3.3 70B。
只是目前在自动驾驶行业,还没有相关案例,不知道做出来的效果如何。
李想说:Thor-U也支持FP4精度推理,未来会将精度逐渐往FP4去优化。 引发了一些争议,很多人觉得不大可能。
确实英伟达通过 Blackwell 架构,开源了多个大模型FP4的优化方案,包括DeepSeek R1、Llama 3.1 405B、 Llama 3.3 70B。
只是目前在自动驾驶行业,还没有相关案例,不知道做出来的效果如何。
作者最新文章
热门分类
汽车TOP
汽车最新文章