来源:佐思汽研
今年以来,L4 RoboTaxi与L3有条件自动驾驶的商业化进度都明显提速。极致的安全,是它们共同的需求,这也对激光雷达提出了极致的要求。
4月,滴滴自动驾驶和广汽埃安联合打造前装量产L4车型发布,车顶和车身四周布满了33个传感器,尤其是激光雷达,共有10颗之多。7月,超豪华SUV极氪9X召开技术发布会,正式官宣其搭载了具备L3级能力的智能辅助驾驶解决方案,不仅搭载了5颗激光雷达,主激光雷达性能更是超过500线。
从技术角度分析,L3/L4相对L2需要更高的感知精细度和距离,这不难理解L3和L4要求激光雷达的高线数化趋势。
如何实现高线数化?我们结合索尼的技术、速腾聚创的技术及前沿科研论文详细分析发现,答案是:SPAD-SoC。
SPAD与CMOS同源同构,线数高且易融合
典型SPAD芯片
图片来源:论文《A reconfigurable 3-Dstacked SPAD imager with In-pixel histogramming for flash LIDAR or high-speed time-of-flight imaging. IEEE J Solid-State Circuits, 2019, 54》
摄像头的CMOS结构,实际上和激光雷达的SPAD颇为接近,都是像素阵列加逻辑电路,摄像头的CMOS是加的列增益,取样与ADC,SPAD主要是TDC,即时间数字转换器。像素也都是二极管原理。工艺上也类似,SPAD可以像CMOS轻松做到1080、2160、4K、8K甚至更高的分辨率,即激光雷达垂直方向的线数超高。而采用SiPM方案则无法做到
这也是为什么SPAD激光雷达就是数字化、就是高线数,只不过是更高级的 “3D数码相机”。所以数字激光雷达与摄像头两者同源同构,所以相互兼容,融合简单。
左边是VCSEL阵列驱动与控制,右边是SPAD阵列与逻辑,图片来源:论文《A dToF Ranging Sensor with Accurate Photon Detector Measurements for LiDAR Applications》, 经过TDC处理可以输出直方图即Histogram
SPAD与SoC二合一,效能更优
上面是索尼IMX479输出格式,输出格式和IMX459一致,还是三种,包括距离模式、回声模式和直方图,不过灰度位宽缩小至12bits。而速腾聚创的芯片基础上加入了4核 APU、双核MCU、以及片内存储单元,进一步提高了集成度。
图片来源:论文《A 256x256 LiDAR imaging system based on a 200mW SPAD-based SoC with Micro-lens Array and Light-Weight RGB-guide Depth Completion Neural Network》
上图中的数码处理部分通常由FPGA完成,速腾聚创将这部分也和SPAD阵列合二为一了。
为什么要这么做?因为高线数激光雷达对带宽需求很高,520线激光雷达就相当于传统2000万像素,目前尚无对应2000万像素的加串行与解串行芯片,将来有的话也必然价格昂贵。此外激光雷达的TDC是皮秒级器件,皮秒等于万亿分之一秒,大容量高速数据的传输交换需要近距离以避免驱动和信号质量的问题,最好的做法是缩短物理距离,即将SPAD阵列和SoC做在一颗芯片上,物理距离是微米级。
速腾聚创这些数据处理也与SPAD阵列集成,不仅降低了计算系统成本,而且提升了数据传输效率。
激光雷达的点云和深度图计算都包含比较多的非线性运算,这是AI加速器无法加速的,AI加速器只能加速矩阵乘积累加。这些非线性运算都会自动转到灵活性最强的CPU上处理,这就增加了CPU的负担,而速腾聚创的设计完全不依赖外部计算单元,同时因为物理距离近,性能更好。
要将SPAD像素阵列与大规模SoC逻辑电路集成在一起,直出点云和深度图数据,在芯片的制造工艺上也非常有难度,小规模的如一些TDC或OR树逻辑集成难度是不高的,但要集成MCU、APU,频率做到1GHz,难度非常高。全球范围内,只有速腾聚创做到了,索尼都没有。速腾聚创不仅做到了行业第一次把APU,MCU集成到SPAD上,而且同时也第一次在激光雷达芯片中引入RISC-V作为APU和MCU架构。凭此技术实力,速腾聚创已成为该领域芯片企业的翘楚。
为什么用RISC-V?传统的设计中,硬件加速器一般是以内存映射(memory map)的方式挂载到SoC内部总线上,CPU通过发出Load/Store指令读写硬件加速器内部的配置寄存器,从而控制其工作模式。在这种架构中,CPU与硬件加速器是一种松耦合的关系,硬件加速器在其内部配置寄存器的驱动下工作。RISC-V指令集架构的出现为领域特定架构设计(Domain Specific Architecture,DSA)提供了很好的平台。通过自定义指令扩展,硬件加速器可以嵌入到CPU微架构流水线上,作为一个执行单元,与CPU实现更紧密的耦合。在这种架构中,硬件加速器可以直接与CPU中的寄存器堆(regfile)进行数据交换,并在流水线和指令流的驱动下工作,极大提高了CPU和硬件加速器的数据交互效率。
来源:速腾聚创
RISC-V指令集架构采用模块化设计,只要求微架构实现基本整数指令集(RV32I/RV64I),其余指令集均为可选的扩展指令集。由RISC-V官方批准的扩展称为标准扩展,比如压缩指令扩展(C),乘除法指令扩展(M),浮点指令扩展(F/D)等,标准扩展均有稳定的指令编码。
未来属于SPAD、属于高线数
得益于此芯片技术,速腾聚创EM4,可以最高做到2160线,最低也有520线,而就在7月9日,吉利汽车浩瀚-S架构暨极氪9X技术发布会上,极氪9X闪耀亮相。作为代表千里浩瀚智能辅助驾驶系统最高水准的旗舰车型,极氪9X在面向L3级的千里浩瀚H9版本上,采用行业唯一5激光雷达方案,且均为数字雷达。该方案定制的RoboSense速腾聚创520线数字化激光雷达,是目前性能最高的量产车规级激光雷达产品,没有之一,领先同行至少一年半到两年。据悉还有多款搭载EM4的L3车型将在年内发布。
速腾聚创EM4路测点云,收费站场景,抑制高反膨胀效果
来源:速腾聚创
EM4的领先,不仅源于在SPAD-SoC芯片上,还有速腾围绕此芯片开发的整套数字激光雷达架构和信号处理算法已成熟,从实测点云与发布资料判断,速腾聚创已经解决高反膨胀、环境光干扰、污渍遮挡、雨雪噪点等使用SPAD要克服的关键点,达到大规模量产上车的标准。
在激光雷达的高线数化的进程中,速腾聚创凭借强大芯片开发能力和芯片技术的精准判断,不但引领了SPAD-SoC的量产,更是通过EM平台产品推动了超高线数激光雷达的量产落地,已领激光雷达实现“千线”的突破,为L3和L4自动驾驶大规模应用安全和效率提供坚实的技术保障。
综合上述详细的技术与案例分析,我们不仅获得一个答案:激光雷达实现高线数化的方案是由传统模拟架构进化到基于SPAD的数字架构,也认识到SPAD-SoC是其中更优的芯片方案。于此同时,SPAD与CMOS同源同构的特性,为数字激光雷达与摄像头融合提供极大的便利,这不仅极大提升L3/L4的多传感器融合效果,还将促进机器视觉系统技术由多传感器融合向多传感器一体化集成化方向发展。目前,速腾聚创作为这一领域的引领者,已经推出多传感器一体化集成的全新产品品类。