小鹏端到端加持的车位到车位智驾，具体有啥？

​​

之前小鹏汽车官微发了上面这个全新的“一套软件”实现车位到车位的宣传视频，感觉里边的东西有点儿多，我仔细看了一下，有一些进一步的信息和各位分享，当然以下内容都是我瞎猜的，杠就是您对。

1. UWB钥匙智能迎宾

从视频开始时示宽灯、日间行车灯、大灯依次亮起，同时视频镜头由远及近，就是一个车主的第一视角镜头。与蓝牙钥匙相比，UWB钥匙可以精准判断车主与车辆的距离和位置。所以可以根据车主与车辆不同的距离，车辆有不同的操作，比如视频里的不同车灯依次点亮。
 
后期我猜可以结合目前的智慧场景和小P约定，根据车主距离车辆不同的距离和位置（精确到厘米）设置不同功能操作，拥有更多的玩法，比如“车主在哪个门前，车辆只解锁对应的车门”，或者“车主站在车位后备箱中间位置持续X秒后自动打开后备箱”，“车主站在车灯前经过x秒后打开灯语”等等。
 
2.车位上直接点亮智驾指示灯

在视频里，上车之后在车位上可以直接拨动档杆开启智驾系统，智驾指示灯原地就开始亮起。这个意味很明显，整个车位到车位的智驾都是同一套软件能力、同一套底层架构，不同于一些“智驾功能拼盘”型的车位到车位智驾，小鹏这套系统没有信息断层、没有功能断点。
 
3.实时识别闸机抬杆，720º纯视觉精度达到分米级，智驾系统时延极低

图3 实时识别闸机抬杆
我专门截了这张图，这个镜头非常牛逼，极为低调但又霸气的炫技。视频中p7+在从暗处到亮处的行进中仅仅些许减速但从未驻车，等待闸机开始抬杆后，p7+恢复加速，闸机抬杆的同时p7+持续前行，直至驶出地库。在光比如此之大的场景下（可以试着在白天打开手机相机、用手捂着摄像头然后突然放开，看看手机摄像头的表现），整个过程行云流水没有任何停滞，信心满满而又十分淡定，堪称天花板级的表演。
 
这里需要解释一下智驾系统通过闸机的难度，之所以时至今日市面上绝大多数智驾都不支持通过闸机，存在包括但不限于以下几个技术难点：1. 感知系统存在盲点：智驾系统需要精确识别停车场闸机和抬杆的开闭状态，但在复杂环境下（如遮挡、天气、光线变化等）识别精度提升存在挑战；2. 决策充满挑战：智驾系统的决策层需要处理大量数据并做出快速反应，这要求硬件算力芯片、中间件软件架构、底层操作系统的高度协同和优化，时延足够低保证及时操作；3. 传感器精度和可靠性不足：智驾系统依赖传感器收集数据，但现有传感器在精度和可靠性方面存在不足，可能导致数据误差，影响系统的决策和控制。
 
小鹏早在半年前的XOS 5.2版本就推出了支持ETC通行的AI代驾，但迟迟没有将这个功能集成进城区NGP里，仍然需要一定的先验信息。以我实际使用体验来看，AI代驾下的通过etc可能并不完全是靠识别系统抬杆，一定程度上还包括了通过记住在etc通道中等待的位置，在对应的位置等待若干秒后，缓慢前行，以确保给系统/驾驶员充分的时间和距离去判断闸机是否抬杆。整个过程并不流畅，中途仍然存在停滞，体验远不如视频里的表现。
 
之所以视频里的表现这么厉害，我猜就是因为纯视觉的XNGP在精度、视角和时延上都做到了远超当前版本的能力，识别速度提升40%，感知距离提升125%，为智能驾驶系统提供精准、可靠的数据支持，也就是720º纯视觉，精度可以达到分米级，智驾系统时延极低。
 
4.小鹏纯视觉智驾系统12个摄像头拥有720º感知，侧向感知加强

图4 纯视觉的多传感器
鹰眼纯视觉系统的12个摄像头演示，包括前2后1的800万像素超清摄像头模组，其中有几个摄像头的感知范围更偏向于纵向，所以小鹏的纯视觉智驾系统不仅能够覆盖360º的平面，也能具备纵向立体空间360º的感知能力。
另外值得注意的是侧向感知摄像头貌似就有4个，盲区完全覆盖，应对诸如斜前方cut in等传统智驾弱势场景更加安全，更加游刃有余。
 
5.鹰眼纯视觉系统前置双目LOFIC架构的构造

图5 鹰眼LOFIC前置双目摄像头构造
视频中展示了小鹏鹰眼纯视觉LOFIC双目800万像素高清摄像头的构造。作为十几年经验的抚摸派摄影师，对于基本的镜头构造我还是有一定了解的，可以在这里瞎猜一下。

就整个镜组结构而言，可以看到最前面的一块镜片是凹透镜，看起来最后面一块镜片貌似是cmos的滤波片，滤波片的前一块镜片也是凹透镜，如果真是滤波片的话，这颗镜头看起来像是4组7片的对称设计，如果我没猜错的话，这大概率是一个标刚Biogon结构（如下图）。

 标刚结构一般用于广角镜头，其性能特点是在广角端几乎没有畸变，但一般都有暗角。不过对于智驾来说，标刚结构的镜头可能确实更加适合，因为标刚结构相对简单、紧凑、极少有畸变。

镜头的畸变会影响物体大小和比例从而影响智驾系统对于各类物体的距离和位置的识别，虽然可以用计算视觉的算法矫正相机镜头的畸变，但是需要挺大计算量的，效率也不高，而且纯视觉智驾使用的是视频流而非以前的图片，相当于每秒钟至少要对至少48张图片进行截图+矫正+渲染成视频进行处理，太浪费算力，虽然FPGA架构下可以解决一定的问题，但毕竟是数码矫正的图像，和光学原生无畸变的效果还是有差距。而采用光学方案的话，由于智驾摄像头的视角足够广，中心部分已经足够覆盖需要的画面，边缘暗角什么的甚至都不需要处理就足够使用，问题不大。

另外官微视频的这个截图不太清晰，虽然没办法看到镜片更细致的结构和镀膜，但我好像还是看到了ASPH（可能是幻觉）…
 
6.小鹏纯视觉系统更远的感知距离——提升125%，超过两个路口。

图6 纯视觉系统感知距离超过2个路口

图7 纯视觉是感知穿越了5辆透明车
 
视频里在这个镜头中，穿越了5辆透明的车辆（图7），直达下一个路口的红绿灯。
 
但我感觉并不只是感知距离提升这么简单，解题的奥秘应该就在穿过的5辆透明小车上。我们知道小鹏的sr在完全无法可见前车的前车时，会“猜”前车的前车的轨迹。比如一辆车A车从前车的前面超车+并线到自车道，在sr界面上就会一直显示A车在前车前面行驶，并且在拐弯/前车漏出视野是会对前车的前车的状态再次确认。除非检测到A车变道去其他车道或者加速远离，否则系统都会假定A车在匀速行驶。
 
在5.4.0版本中，SR界面最多能够看到前车前面2辆车的，而在5.5.0的纯视觉系统的视频中能够穿透5辆车，是否意味着小鹏5.5.0系统的时序融合和记忆能力已经提高到了可以感知、预测前面5辆车的水平？如果真是这样的话，再结合端到端的能力，简直就是老司机在用上帝视角开车，体验会较之5.4.0更有大幅提高。
 
7.具备通过复杂环岛的能力

视频中这个镜头是一个鸟瞰视角下的巨型环岛，应该展示的纯视觉的XNet神经网络的能力，对应的是XNet神经网络的BEV（bird’s-eye-view ）视觉感知系统，即可将多个摄像头采集的数据构建成3D鸟瞰图，并输出BEV视角下动态目标物和静态目标物的相关信息。而目前小鹏的XNet的能力基于进一步提升的感知距离，可以生成覆盖这个镜头展示的、如此巨大的环岛面积的BEV模型。
 
8.小鹏“车位到车位”纯视觉OCC网络的精度为20cm，SR界面可能直接使用occ渲染

图9 每一个voxel的大小为20cm
首先解释一下OCC占用网络，简单可以理解为空间中有多少的空间被占用，车辆需要绕开被占用的空间。而图中的一个个立方体就是体素voxel。Voxel是三维像素的简称，‌它是将像素的概念扩展到三维空间中的一种技术。‌在计算机图形学和三维建模中，‌Voxel是指体积像素，‌即空间中的小块体积元素，‌每个体素可以包含颜色和透明度信息，‌用于构建三维模型或场景。‌这种技术允许在三维空间中以像素化的方式表示对象，‌创造出具有特定风格和视觉效果的模型，‌如《‌我的世界》‌和《‌纪念碑谷2》‌中所展示的鲜明风格。
 
图中参考p7+旁边一辆车的车型和堆叠的voxel层数我们可知，旁边是一辆suv，车高普遍在1.8米左右，一共堆叠了9层，所以每一个voxel大概是20cm见方，所以occ的识别精度最低为20cm（可能精度更高，但是没有渲染）。
 
20cm的识别精度是什么概念？闸机的抬杆、路过的小猫小狗、地面的碎石异物、深度或者宽度超过20cm的大坑/水坑/不明路段…统统都能识别、统统都能纳入智驾的路径规划和决策应对，这你受得了么。
 
9.“车位到车位”版本智驾系统精度更高，安全距离进一步缩小，小路通行能力进一步加强

图10 如此狭窄的道路也能轻松通过
当前版本的5.4.0以及之前的系统我有一个明显体会，就是智驾开启期间系统留出的安全冗余挺高的。比如前方会车，两车相隔30cm，人开的话轻松会车通过，智驾开的话就提示有撞击风险，扭扭捏捏打死也不走。
 
从视频上看，小鹏在“车位到车位”版本的智驾系统中不再像之前的版本一样留出过多的安全冗余空间，在两侧相隔不到20cm的缝隙也能轻松通过和绕行，实用性和安全性都有了巨大提高。
 
10.绕行避让更加丝滑

图11 非机动车绕行
 

图12 公交车绕行
绕行非机动车，公交车等等在5.4.0已经做得很不错了，车位到车位版本也会延续类似的能力。
 
11.小鹏的车位到车位智驾，无需导航信息，支持随机车位、支持离车泊入、支持靠左居中靠右三种偏好、支持与智能地锁联动。

图13 小鹏车位到车位泊车页面

图14 离车泊入与地锁联动
视频最后一段，p7+进入停车场后，画面切到了车内的sr界面。
 
这里有一个隐藏的彩蛋，就是完全没有导航信息。充电站基本属于内部道路，缺乏导航信息，小鹏的车位到车位系统，在没有导航信息也能够安全抵达充电站、甚至直接停进充电车位。
 
从车内的sr界面显示可知（图13），小鹏车位到车位智驾允许抵达目的地后从多个车位中自行选择，并支持靠左靠右居中三种偏好的离车泊入，无需提前扫描路线，即可轻松使用。
 
在图14中，小鹏则展现了车位到车位智驾抵达充电站后的场景，即可以和充电站的地锁联动，全程丝滑，一键即可从家里的车位到其他任何一个车位。
 
具体情况，后续我会等XOS 5.5.0公测后进一步更新和瞎猜。#AI智驾小鹏来了#