作者： Luke Liu，文章来源： Comtech FPGA微信公众号
目前，汽车已经成为人们日常出行使用最多的交通工具。为了保证司乘人员和行人的安全，辅助驾驶和自动驾驶越来越成为汽车的标准配置。从L1级别的ADAS应用FCW(前向碰撞预警)、LDW(车道偏离预警)、L2级别的 AEB(自动紧急制动)、LKA（车道保持辅助）、到更高级别的ACC(自适应巡航)、AVP（代客泊车系统）等等， 辅助驾驶/自动驾驶在汽车电子系统中有着越来越大比例的应用。
为了实现性能更强、稳定性更高和准确性更高的辅助驾驶、自动驾驶，汽车需要获知本身的位置信息和周边的环境信息，不同种类的传感器，如视觉传感器、激光传感器(LiDAR)、毫米波传感器(RADAR)等，在不同的工作环境下各有优缺点，而融合来自多个传感器数据的过程。可以提供更高的可靠性、冗余性以及最终的安全性。
赛灵思作为可编程器件的领导品牌，在汽车电子系统，尤其在传感器融合方面提供了全面的方案。且待本文向您徐徐道来：
1. 融合! 融合起来!
随着辅助驾驶/自动驾驶的等级逐步提高，对传感器种类和数量的要求会逐步增加。
L1级别需求(如FCW(前向碰撞预警)、LDW(车道偏离预警)) 主要由单个传感器，如单个视觉摄像头、单个毫米波或摄像头加毫米波的组合来实现相关预警功能:
L2级别需求(AEB(自动紧急制动)、LKA（车道保持辅助）) ，因为需要对车身部分(如底盘的刹车控制系统) 进行直接控制，需要两个或以上不同的传感器来互相校验，确保在各种环境下不错过必须处理的信息，并加强冗余度，一般会有多个视觉摄像头(比如由4个摄像头组成360环视系统，加上一个单独用于前向预警的摄像头，共计5个摄像头的系统)、一个或若干毫米波及其他传感器完成辅助驾驶功能：
对于L3来讲，由于高级别半自动驾驶（如代客泊车AVP）需要对地图进行构建，并进行基于地图的路径规划，通常需要引入激光雷达(为解决盲区，还需要布置高低位置的多个激光雷达)，视觉、毫米波和激光雷达的数量总数基本会超过10个:
随着高级辅助驾驶需要更多传感器种类与数量，如何将这些信号归一化为主控SoC需要的数据，也就是传感器数据归一化（normalization）的需求如何实现呢？这就是我们提及的传感器融合的需求了：
那么传感器数据数据归一化，具体来说要如何进行呢？我们由下图来解释一下：
将多个传感器数据的负载(Payload)， 统一打包为包含报文种类、时间戳(Time Stamp)、其他包头信息和负载的数据包，传送至主控芯片，就是传感器融合的信息了。
我们来总结一下传感器融合的作用：
A 获取车辆环境信息；
B 获得更精确的结果；
--均衡不同传感器的权重
--针对传感器失效的鲁棒性
--各传感器取长补短
C 主要任务
--定位
--地图绘制
--路径规划
2. 当融合时且融合
当我们意识到传感器融合的优势时，就会发现FPGA在传感器融合上的优势：
--FPGA的IO Pin可以灵活配置，适合不同的传感器接口
--FPGA的逻辑可以灵活设计，针对不同型号的传感器做出针对性的设计。
而传感器融合的基石，就是如何进行数据同步!
如果不进行同步的话，假设有一个目标高速经过车辆前部，如果各传感器不同步，不同的传感器会给出不同的目标方位和相对距离信息，会令处理系统很难做出正确响应：
但如果进行了同步，所有观感器信息反馈的信息都是基于同一时间点，针对同一个目标反馈的目标速度、相对距离、角度等信息也不会产生混淆：
针对上述的同步，具体方式如下:
1. 硬件同步 / Hardware synchronization
--使用同步触发(trigger acquisition， FPGA的强项之一哦!)
--所有传感器使用同一个硬件给出的时钟源(FPGA的IO资源非常适合做配置!).
2. 软件同步 / Software synchronization
--使用时间戳(timestamp ) 同步
--每个传感器自行加入校正后的时间戳
3. 空间同步 / Spatial synchronization
将各传感器坐标系统归一化为统一系统（对坐标系转换的硬件加速也是FPGA的强项!）
4. 时空同步 / Spatiotemporal synchronization
--以上所有同步的综合
下面也给出一些使用FPGA进行同步的技术技巧：
1. 统一的的坐标系与时钟；
2. 使用GPS提供时间戳的时钟同步与校准；
3. 一般使用激光雷达提供Trigger , 作为数据对齐基础；
--这是自动驾驶技术的历史传承，基于ROS / ROS2 的 Autoware， Baidu的Apollo及其他开源版本都是如此。
4. 传感器相互之间进行校正 ( Sensorcalibration )；
同步后数据，如何通过网络在车内网络传输，也是传感器融合的重要功能，而TSN (时钟同步网络) 更是会助力融合更好地进行!
基于802.1 AS的TSN我们在之前的文章中已经有介绍，如有您有在赛灵思器件上实现TSN的需求，也请联系科通，我们为您提供咨询和支持。
3. 如何十分安全地融合？
既然传感器融合主要用于汽车应用，功能安全就变得非常重要！针对功能安全的需求，作为可编程器件领先品牌，赛灵思针对各行业的安全需求，提供了由原厂或第三方提供的服务:
其中和汽车相关的 IEC-61508和 ISO-26262认证，赛灵思都提供原厂直接支持的文档、工具和服务。
当然还有经过车规验证的各型号SOC/FPGA、IP、工具链和参考设计开发板，如果您有需求，都欢迎联系科通哦!
4. 有科通，融合更方便
针对车规需求，我们集成科通代理的相关产线，为您提供整体方案。下图也只是其中一部分哦!
更多信息，欢迎联系：
