1、算力底层互联技术对比
底层互联核心价值:底层互联是区分超节点与普通AI算力卡的核心分界线,特指芯片与芯片之间的互联能力。传统X86架构下服务器互联由英特尔牵头制定标准,数据传输路径为:GPU处理显存内数据后,通过PCIe协议传输至CPU,CPU在内存完成缓存后,经南桥芯片传输至网卡PHY芯片,最终通过网卡对外发送。该架构效率瓶颈十分突出,PCIe3.0带宽仅32G,PCIe4.0双向带宽为64G、单向仅32G,由于计算速度远快于数据传输速度,传输延迟过高导致算力性能无法充分发挥,形成内存墙问题。
英伟达NVLink技术优势:英伟达自A100产品开始摆脱传统X86互联架构,A100于2017年启动研发、2020年正式发布,搭载第三代NVLink技术,核心优化是将通信类芯片(类似网卡、交换芯片功能)集成到GPU芯片内部,使GPU芯片具备直接收发数据的能力,完全放弃PCIe接口。NVLink的带宽性能远超PCIe协议,第三代NVLink带宽已达1T,当前第五代NVLink带宽可达6.4T,性能是原有PCIe架构的上百倍,断层领先传统互联方案,大幅降低数据传输延迟,充分释放AI算力性能。
多卡互联方案对比:当前不同厂商的多卡互联方案差异明显:
1)英伟达方案:单超节点目前最大支持72卡,144卡方案正在研发,所有芯片均集中在单个机柜内,将传输距离控制在3米以内,NVLink为同互联架构,无光电转换、路由转换环节,传输延迟最低;
2)国产384卡超节点方案:总带宽是NVLink方案的3倍,单节点显存规模更大,但芯片数据对外传输需要经过翻芯片、DSP/硅光芯片转换为光信号,经光交换机转发后再转换回电信号,四次转换带来十几纳秒延迟,叠加20米传输的十几纳秒延迟,整体传输延迟高于英伟达72卡方案。从传输介质来看,3米以内短距离场景下电连接是最优方案,电连接靠电子振动接力传递数据,性能稳定,但其研发门槛极高,多数厂商无法突破技术瓶颈才选择光互联方案,3米以上场景铜缆损耗过大,需采用光互联方案。
光互联技术发展趋势:光互联的核心优势在于光子具备波粒二象性,光子产生后自动处于移动状态,传输过程无需额外消耗能量,且传输距离长、无额外损耗,适配千卡级以上超大超节点的传输需求。当前大模型参数量呈持续膨胀趋势,摩尔定律已到物理极限,仅靠缩减制程、增加单芯片逻辑门数量无法匹配大模型的算力增长需求,因此超节点规模扩张是必然趋势,3米以上长距离传输场景将驱动光互联需求持续上升。未来光计算路线将实现颠覆性优化,GPU计算完成后直接输出光子信号,完全消除光电转换环节的损耗,传输效率将大幅提升。当前英伟达72卡超节点的技术优势明显,其垄断了全球最优供应链,先进制程产能被头部厂商锁定,谷歌TPU等竞品也面临生产资源不足的问题。
2、国内外算力技术路径对比
AI算力需求驱动逻辑:大模型技术路径的可行性得到验证,在神经网络算法支撑下,通过三类特征描述世界的路径落地,可预测各类事物发展规律,若预测效果不佳,提升神经网络深度、增加输入输出层数量即加大参数规模即可解决,驱动全行业向大模型方向快速发展。大模型迭代节奏加快推动摩尔定律从18个月缩短至1年,英特尔产品迭代节奏无法匹配新摩尔定律,英伟达GPU采用两年一大版本、一年一小版本的迭代节奏,完全适配行业需求。当前AI计算分工明确,AI训练对应神经网络反向传播、推理对应前向传播,两类计算均由GPU承接,通用CPU仅承担操作系统搭建功能,GPU成为AI算力核心载体,全球GPU年度订货规模超一万亿美金。
·海外算力架构发展历程:北美在GPGPU技术领域起步较早,早期算力发展呈现北美一边倒格局。上层软件生态是算力竞争核心要素,英伟达收购Mellanox解决了芯片间C2C通信问题,叠加自身CUDA生态优势,从A100一代开始,其架构成为最适配神经网络、AI计算的基础架构。C2C通信技术解决了大模型训练侧装载大参数量的核心需求,成为英伟达核心竞争壁垒,自此英特尔、AMD等厂商算力技术被远远甩开,差距持续拉大。
3、国产算力芯片迭代情况
国产算力厂商针对计算基石需求早有布局,以昇腾系列为例,910系列历经ABC三代迭代,910B阶段依托全球供应链性能已基本追平A100,昇腾910C性能正式追平A100。后续受全球供应链断供限制,国产算力迭代出现短暂停滞,当前已推出950PR、950DT两款产品,实际性能对标H100水平。从技术架构来看,昇腾910前代产品仅支持单卡走PCIe通道,950系列实现架构升级,内部共搭载4个die,其中2个为专门解决芯片间C2C通信问题的IO die,其余2个为计算die,当前AI算力竞争的核心并非单卡算力,而是超节点的芯片间通信能力,这也是超节点与普通GPGPU的核心差异。
4、国内外算力技术差距分析
当前全球算力格局形成北美与国产两极,其余区域无具备竞争力的同类技术,二者差距可从多维度分析:
1)制程维度,国产算力制程较海外领先水平差约2代,PN结密度仅为海外最新第三代产品的1/4,计算密度存在明显差距;
2)架构优化维度,反摩尔定律下硬件算力提升往往被上层操作系统、底层API消耗,可通过上层网络、算子优化弥补硬件性能差距,其中昇腾采用达芬奇架构,搭载64个专门针对矩阵运算优化的流处理器,与英伟达靠大量Tensor Core、CUDA Core小核心执行矩阵运算的技术路径各有千秋,不存在硬件参数对应性能的线性换算关系;
3)功耗维度,制程差距导致国产芯片PN结内阻更高,电子穿过PN结时损耗更大、发热量更高,大量电能转化为热能而非用于计算,功耗墙已经成为制约国产算力计算效能的核心瓶颈。
5、先进封装技术发展与国产方向
先进封装核心价值:当前算力芯片领域的制程差距可通过先进封装技术有效弥补:英伟达B100单颗售价约三万美金(约二十万人民币),芯片本身成本较低,而昇腾950单颗芯片对应12个光模块,仅光模块成本就达数万元至近十万元,硬件成本差距显著。制程差距是核心影响因素,英伟达B300领先一代仅采用2个die设计,昇腾950受台积电产能锁定限制,只能选择上两代制程工艺,芯片面积增大,最终采用4个die设计,需空出珍贵的die面积放置网络、AI相关芯片,压缩了计算芯片的面积。先进封装的技术内涵是将不同制程的die或晶圆切割后贴在同一基板上,是当前弥补光刻制程不足、解决整体算力瓶颈的最核心高价值技术。
·先进封装技术路径对比:海外先进封装当前主流路径为采用玻璃基板实现更大规模的die集成,已是行业既定的发展趋势。长期来看硅光技术将与先进封装深度融合,可直接在电子计算芯片上刻出光通路,实现电光混合计算,硅光技术对制程的要求极低,无需5nm、7nm、14nm制程,采用28nm以上制程即可满足生产需求,可进一步降低先进封装的制程门槛。此外英伟达芯片架构自带降级处理优势,当核心数扩大导致良率不足时,可在封测阶段屏蔽不良核心,降级为不同等级的产品销售,进一步提升整体良率。
·国产先进封装突破方向:国产先进封装产业链发展的核心前提是设计与生产环节紧密协同,不能沿用传统设计端输出图纸后交付生产端的割裂模式,生产环节的稀缺性、技术难度、准入门槛均高于设计环节,芯片设计需跟随生产能力同步迭代。在封装材料路线上,国内具备跳过玻璃基板直接采用金刚石材料封装的可行性:尽管当前金刚石材料价格较高,但对比单颗高端芯片售价可达二十万人民币的价值,投入后可显著提升芯片性能,投入产出比具备合理性,额外的材料成本可被芯片价值覆盖。当前金刚石产能原本并非面向芯片应用场景准备,产能不足问题凸显,金刚石已成为受控出口材料,未来相关出口可能受到限制。
·封装产业链机遇:国内先进封装产业链已实现部分技术突破,基板领域的技术进展靠前,存在较多弯道超车机会。国内产业链当前以华为为首引领发展,将带动整条产业链协同推进,先进封装相关细分领域均存在较大的国产替代机遇,后续随技术成熟度提升,相关环节的市场空间将持续释放。
6、算力存储技术现状与替代方案
·AI存储需求变化:过往芯片内部处于黑盒状态,仅对外披露基础功能模块信息,当前芯片内部已逐步白盒化,先进封装除整合不同功能单元外,还需将计算、网络、存储三类资源共同封装,其中存储直接封装到TPU或GPU上是AI算力的主流发展方向,目前仅英伟达、谷歌、华为具备相关落地能力。核心驱动是神经网络计算对存储带宽需求大幅提升,传统内存性能已无法匹配算力需求:传统DDR5带宽约60GB,HBM3e带宽可达2.6T,性能差距显著,HBM通过共封装紧邻计算芯片,采用层叠结构以空间换传输效率,大幅提升数据传输效率,是支撑AI算力的核心存储载体。
·国内外存储配置差距:海内外算力芯片显存配置存在明确差距:英伟达B300配置288G HBM,国产某950GT最高配置144G HBM、某50PR配置128G HBM,从存储配置指标来看国产芯片吞吐量落后于海外竞品。除配置差距外,国产相关芯片交付周期也明显偏长,当前下订单要到明年1月才能交付,周期约半年,核心瓶颈包含两方面:一是HBM产能不足,没有足够的HBM可供共封装;二是计算芯片本身良率不高,两大因素共同导致国产算力芯片供给受限。
·HBM产能与产业链格局:HBM产业链呈现“计算芯片厂商制定标准、存储厂商负责生产”的特点,早期HBM一代由海力士为英伟达定制,积累了大量专利,当前HBM生产基本被三大存储厂商垄断,标准由计算芯片龙头统一制定,不同厂商的HBM产品可互换。但HBM生产制程难度高,整体产能极低,优先供给英伟达,全行业供给缺口显著,甚至挤压DDR5生产资源,行业首次出现内存价格超过计算芯片的情况。
·国产存储替代方案:海外HBM垄断及产能不足倒逼国内存储技术迭代,给国内厂商带来明确发展机会,目前国内可通过优化LPDDR的方式部分替代HBM,应用效果较好,核心优化方向包括增加单个显存颗粒位宽、采用时钟同步置放(CDD)方式提升内存带宽。国内在存储颗粒生产、数据压缩、芯片间数据传输领域均存在较多突破机会,不过存储颗粒生产有一定技术爬坡期,数据压缩和芯片间传输技术此前国内研发经验不足,仍需持续攻关。
5、芯片间通信与产业链机遇
·卡间互联性能对比:英伟达72卡超节点卡间延迟低于100纳秒,该水平与DDR内存到CPU之间的延迟相当,属于全球断档领先,除英伟达自身系统和设备之外,其他厂家没有对应测试设备可测出该延迟参数。国产384卡超节点的卡间延迟约为200纳秒,单72卡性能不及英伟达方案,但当大模型堆叠卡数达到500卡以上时,国产方案总带宽是英伟达MV-LTR总带宽的3倍,二者形成错位竞争的市场格局。
·国产替代需求与行业空白:英伟达卡间互联使用的NVLink属于私有协议不对外开放,片与片之间的通信协议既不是IP也不是TCP/IP,完全脱离传统通信协议体系。芯片间通信不属于传统IP交换机、路由器相关领域,此前国内该领域处于完全空白状态,无相关企业布局,核心原因是此前没有对应客户需求,美国厂商也不会将相关业务交给国内厂商来做。
·国内相关厂商布局情况:国内已有部分厂商在芯片间通信领域处于全球头部,NCCL协议目前主要应用在内存领域,可延伸应用于计算芯片之间的通信场景,该领域核心技术方向包括极致的数据压缩、数据校验、抗干扰、编码、解码、译码等。目前国内已有不少创业公司、硅谷回流人才投入该领域研发,该领域研发投入成本较高,龙讯、纳芯等企业此前已率先在车载场景布局相关技术,目前正在服务器领域推进验证工作。
·行业发展前景与机遇:国内工程师具备成本优势、数学等理论基础扎实且勤奋,未来有望实现该领域的技术突破,垂直领域存在较多创业机会。当前美国对国内算力供应链的限制倒逼国内构建自主可控的供应链体系,华为每年在算力领域的研发投入约2000亿,无法覆盖所有细分领域,将带动国内产业链共同研发相关技术,其每年算力领域相关现金流约1000亿,将给国内细分领域创业公司、新兴企业带来巨大的发展机会。目前国内算力产业链体量与海外差距较大,华为相关体量约为谷歌的1/3,约为英伟达的1/9。
6、算力芯片散热技术发展方向
·现有散热方案的局限:从散热方案适用场景来看,通用计算场景目前仍以风冷为主,因风冷成本较低,开back投资更少;液冷投资约为风冷的3倍,热密度极高的超节点必须100%采用液冷,无法使用风冷方案。当前主流液冷技术均存在明显瓶颈:一是冷板式液冷,冷却液不直接接触芯片,仅通过铜板导热,存在导热效率不足问题,芯片产生的热量还未传递给冷却液工质,芯片就已过热。二是浸没式液冷,该方案采用自然对流换热模式,而非冷板的强迫对流模式,液体流动速度较慢,受液体粘性影响,接触芯片表面的流体流速更慢,会形成层流,还未流出就会气化沸腾,出现芯片周边液体仍保持低温但局部"烧开水"的现象,散热效率提升十分有限。
·芯片热密度核心矛盾:当前算力芯片热密度过高是散热方案面临的核心物理瓶颈,物理规律无法突破,芯片消耗的电能基本全部转化为热能。当前热密度已达极高水平:当前算力芯片热密度达到1平方厘米200瓦,2000瓦功率的算力芯片面积仅约10平方厘米,热密度远高于民用设备,例如家用电磁炉功率约2200瓦,面积相当于一个盆的大小,远大于同功率的算力芯片。极高的热密度也给散热实验带来极大阻碍,目前没有合适的加热器、电热棒或电阻丝可以模拟1平方厘米200瓦的发热水平,原因是常规发热材料无法像芯片一样将数亿个晶体管集成在极小空间内实现集中发热,进一步凸显了突破现有物理瓶颈的紧迫性。
·散热技术突破方向:金刚石(Diamond)散热材料是解决高热密度芯片散热问题的必需方案。当前行业内其他厂商仍在探索常规材料的优化路径,例如台积电等厂商在尝试使用team胶等材料带走芯片表面热量,而国内有望绕过常规材料迭代路径,直接采用金刚石散热材料实现技术弯道超车,构建更高层面的行业竞争优势。目前金刚石已成为受控出口材料,需要获得许可才可出口,未来随着下游各厂商对金刚石散热材料的需求持续上升,该材料将可能成为行业稀缺部件,倒逼产业链各环节加大对金刚石散热材料的布局投入。

