空间智能研究报告
01 空间智能概览目录02 自动驾驶3D?成具身智能扩展现实(XR)世界模型空间智能玩家图谱
空间智能是主要基于3D视觉信息进?理解、推理、?成、交互的AI系统4信息来源:量?位智库数据算法3D理解3D?成3D推理交互虚拟世界物理世界空间智能概览 自动驾驶 3D?成 具身智能 扩展现实(XR) 世界模型
空间智能概览:3D?成、自动驾驶、具身智能是空间智能不同成熟度的应用领域,XR是空间智能的原?交互?式5信息来源:量?位智库3D?成扩展现实(XR)自动驾驶具身智能物理世界虚拟世界终局状态发展成熟度世界模型空间智能概览 自动驾驶 3D?成 具身智能 扩展现实(XR) 世界模型
从智能三要素、普及便捷度、经济性出发,自动驾驶和3D?成是空间智能最先成熟的领域,具身智能仍处早期,各要素尚未完备6信息来源:量?位智库自动驾驶3D?成具身智能XR数据成熟度(核?)?汽车?驶数据(摄像头及传感器)达到百亿英里级仿真数据正在快速发展以弥补真实数据的分布缺失算法成熟度?融合感知、规划、控制的端到端?模型已经成为业界共识算?支撑?头部玩家达到5万卡H100普及便捷度中安全性和合规要求?经济性中自动驾驶软件成本低,潜在受众巨?,头部玩家已投放市场成熟度中有千万级规模的?精度3D资产数据,但仍需要更?规模的数据提升?成效果中目前算法部分处于快速进步阶段,但数据表征尚未成熟,技术目前可支撑商业化低头部玩家算?百卡/千卡级,算?目前并非瓶颈?软件服务可快速普及应用?软件服务可快速普及应用,3D?成价格低低?质量的机器?真机操作数据数量稀少,仿真数据作用有限低目前算法部分处于摸索期,感知、规划、控制等功能都不成熟低?多数玩家在千卡级,目前的主要瓶颈是数据低物理操作需要满?安全性、合规性和精确度需求低机器?本体目前价格昂贵,商业价值低硬件设备承担3D交互功能可以为具身智能训练采集数据,是目前真机数据的主要获取?式空间智能概览 自动驾驶 3D?成 具身智能 扩展现实(XR) 世界模型
?字、图片、视频数据相比空间智能规模更?,支撑了以语?模型为核?的AI浪潮快速发展,3D和物理AI在数据成熟后空间智能也将迎来爆发7?本信息来源:量?位智库15万亿Token图片视频自动驾驶3D?成具身智能数亿视频?字片段百亿级图?对百亿英里?驶数据千万级?质量3D模型百万小时真机数据分析 ?本、图片、视频等数据由于互联?内容的长期积累,数据规模上显著?于自动驾驶、3D和具身智能空间智能涉及3D视觉类数据、物理世界交互数据,互联?数据的作用有限,需要等待数据体系进?步成熟,数据整体上比语?更复杂,对数据处理的要求也更?空间智能数据规模空间智能概览 自动驾驶 3D?成 具身智能 扩展现实(XR) 世界模型
?自动驾驶车队可形成正反馈的数据闭环,加速模型能?提升数据?成:XR设备可以支持空间智能相关的数据?产,例如英伟达GR00T项目,通过XR设备为机器?进?操作演示数据体系成熟度是观察空间智能进展的关键,包括数据积累、数据构成、数据分布、数据闭环四部分,成熟度上自动驾驶3D?成具身智能8信息来源:量?位智库自动驾驶3D?成?已有数量庞?的车队和成熟的道路交通系统可以收集?量数据具身智能XR中以视觉信息为主,纯视觉技术路线外会涉及激光雷达和其他模态中以道路交通系统的?驶为主,多数驾驶场景下需要的数据可以充分收集,但缺乏长尾数据数据积累规模 数据构成精简度 数据分布多样性 数据闭环成熟度 分析中?精度的3D资产图形学数据,主要由专业的3D模型师制作,数量有限中3D?成需要的图形学数据种类多样,如形状、体积、纹理、材质,对数据表征要求?中3D模型的数据集丰富度较?,模型可以覆盖各类物件和场景?低缺少存量装机量,要从零开始积累数据,同时仿真数据精度有限低需要视觉数据、?学数据、运动数据、激光雷达、甚?其他模态,异构数据多低,数据主要来自?些垂直的训练场景,数据分布比较单??目前数据是?部分AI系统进步的瓶颈,算法和算?的问题相对更容易解决自动驾驶能够快速成熟的核?原因在于数据采集和数据闭环?面的优势,?规模的自动驾驶车队?关重要空间智能概览 自动驾驶 3D?成 具身智能 扩展现实(XR) 世界模型
自动驾驶是空间智能目前规模最?、最成熟的应用,已经接近?类?平,技术前沿开始从模仿学习转向强化学习,以保持性能增长10信息来源:量?位智库L1L3L4L5车辆驾驶数据,附加激光雷达等其他传感器数据在驾驶数据的基础上增加针对尾部场景的模拟仿真数据端侧的低算?ECU/嵌?式芯片云侧需要万卡集群端侧需要?端推理芯片,如特斯拉HW3或