期待XNGP6.0

在小鹏汽车 AI 技术分享会上，小鹏汽车自动驾驶负责人李力耘表示，小鹏正在研发 720 亿参数的基座模型，相当于主流 VLA 模型的 35 倍。


为此，小鹏构建了 10 EFLOPS 的算力，相当于一个万卡集群，算力的利用率长期保持在 90% 以上。


小鹏的基座模型研发始于 2024 年下半年，面向 L4 级自动驾驶研发。这套模型基于开源的 LLM 模型，经过预训练、强化学习，形成一个超大参数的模型，然后“蒸馏”为一个参数较小的模型部署到车端。


知识蒸馏作为一种模型压缩方法，将大型复杂模型（教师模型）的知识迁移至小型高效模型（学生模型），以平衡模型性能与计算效率。DeepSeek 通过强化学习与知识蒸馏技术融合，实现了大模型到小模型的能力迁移。小鹏汽车把类似技术应用到了智能驾驶领域。


李力耘表示，小鹏汽车用于训练基座模型的视频数据量已达 2000 万 clips，预计今年增至 2 亿 clips。作为对比，今年 2 月理想汽车发布的 AD Max V13 模型基于 1000 万 clips 训练数据。

https://mp.weixin.qq.com/s/8nRTMsER8FL1BvtYLkjusQ