不同的AD构架决定了AD的实际性体验:
【以现在的NWM 为例】
典型的小路王者,甚至部分的绕行能力超过了传统规控时代的时空联合算法~
为什么?
——以下为推测【瞎猜】
NWM是一个非常复杂的AD构架,我个人推测主要是分为三个大模块:
以顺序链接为主,配合一个不完全调用的旁通路线~
1️⃣:感知模型;
2️⃣:LLM【多模态的大语言模型】
3️⃣:规划模型;
⭐在停车场这个场景里面:
感知和LLM可能是复用了视频信息为主,一个负责动静态BEV特征构建坐标系,然后通过前向摄像头抽帧的方式进LLM,将语言信息通过LLM进行理解并对齐导航坐标信息后输出轨迹。
在体验中,我们看到的是NWM具备了非常强的空间理解能力、语言理解能力、能够自己开出停车场直接到公开道路。
而这个最后进规划模型输出的轨迹和在公开道路上的规划模型可能存在不同的后处理的方式,或者不完全是一个模型。【即停车场漫游能力更多是要考虑封闭场景的绕行、极端转向、错车退让、拥堵等待等等,而在公开道路这些能力并不需要用到,for now】
⭐在公开道路场景里面:
这里我们分:小路和大路
首先,小路场景。难点是什么?
是绕行,因此我认为现在的NWM应该在规划模型里面放了很多很多的绕行的数据【可能是Clips】进去。因为在小路场景中对于静态拓扑的理解是相对比较简单,其实一般来说就四个线【左非机动/路边缘,对向机动车,本向机动车,右非机动车/路边缘】。
这也是 NWM为什么在小路的能力特别强。而且NX比OrinX更强,本质上是算力更高可能给与了更低的推理时延。
我不会说是因为ET9 的天行地盘更厉害[不愧是你]
其次,大陆场景。难点是什么?
不在是与行人和非机动车的博弈。二是在于如何在BEV空间体系里面确定自己是在导航需求的哪个车道里面。
换而言之,这个对于静态道路拓扑的理解能力非常高。
根据我个人的理解,这个能力的提升只有三个思路:1. 像ADS这种非常强的道路结构匹配+部分先验;2. 直接上One Model 且有非常非常多的数据 3. 直接上类似LD Map+高精度定位;
从NOP+ 全栈切模型化后,我们看到数据驱动已经推的非常快。
但是,如果您是工程落地的研发,从表现驱动看,一定是先搞定小路的绕行能力,再去累计大量的道路结构的数据推规划模型。
前者一定做得更快更好,这也是目前NWM 主要弱势领域是在宽车道、复杂道路结构等等,主要反应的问题是在和导航需求没有完全对齐。
吐槽完,我还是想表扬一下..NWM的进步非常快。
而且从现在这个弱势场景看,随着数据积累,整体的迭代速度不会慢到哪里去。
最关键是这套NWM 通过压缩后是能将大量的能力释放到单OrinX的平台上去。
当然我还是支持付费升级NX
如果单OrinX能做到NMW 现在小路的 8成功力+ 目前大路XNGP的7-8成功力,我的理解这套AD是具备高度可用性的。
时间节点大概是 2025Q4?
以上均为个人推测,不当之处请批评指正、