H200这卡,英伟达自己管它叫“Hopper架构的强化版”~
先说最狠的一刀:内存直接翻倍,带宽拉满~
H100的显存是80GB,H200直接干到141GB,带宽从3.35TB/s飙到4.8TB/s,差不多是H100的1.4倍~
H200的141GB,能单卡直接装下Llama 2 70B这种级别的模型,不用拆、不用等,一口气跑完~
再说实际效果,英伟达自己给的数据很直白。
跑Llama 2 70B推理,H200比H100快1.9倍;跑GPT-3 175B,快1.6倍。更离谱的是高性能计算场景,H200比纯CPU方案快110倍~
最聪明的一点:它没换功耗,换了活法。
H200的功耗跟H100一样,都是最高700W。一样的电,干更多的活~
H200的先进,不是“算得更猛”,是“装得更多、等得更少”~
你怎么看,感谢关注陈老刀,聊聊咱老百姓感兴趣的话题,,
