众力资讯网

沉淀补课了,激光雷达的必要性又增加一条重要的作用。对于感知来说,不管用什么算法,

沉淀补课了,激光雷达的必要性又增加一条重要的作用。

对于感知来说,不管用什么算法,OCC、Transformer都是一种信息压缩,会有信息损失。

传统的3DGS(3D Gaussian splatting)3D高斯泼溅,对于这个压缩来说,是一个信息解压缩比较折中的方案。

但是,对算力要求比较大,得用服务器跑,这对于智驾来说算力是完全追不上的,即便现在有上千T的算力也不够。

特斯拉确实是最早做的,直接用大模型输出高斯,路径大概是这样的:8目纯视觉图像 → HydraNet视觉主干 → BEV特征场 → 生成式高斯头一步出高斯分布 → 嵌入世界模型特征流 → 预测规划

理想在北京车展展示的Street Gaussians(浙大+理想)是一套车端的离线优化式高斯泼溅,这里头激光雷达有很强的作用。

传递路径大概是:激光雷达点云做初始化→给每个高斯绑定可靠三维坐标→视觉做颜色与精细优化→分层静态背景+动态物体→半小时云端建好场景→车端再轻量化推理渲染

理想通过激光雷达提供了几何先验信息省了很多事儿,可以直接建立一个初始化的高斯骨架,然后通过视觉迭代去优化深度、颜色等信息。

特斯拉则是土办法,几何和外观一起算,压力很大,延迟也有,这种生成式的方案,我查了一下,单帧前馈推理有200~240ms的时延。

当然,落地效果,有待验证。大v聊车 北京·首都机场T2航站楼