自动驾驶汽车传感器融合系统

自动泊车、公路巡航控制和自动紧急制动等自动驾驶汽车功能在很大程度上是依靠传感器来实现的。重要的不仅仅是传感器的数量或种类，它们的使用方式也同样重要。目前，大多数路面上行驶车辆内的ADAS都是独立工作的，这意味着它们彼此之间几乎不交换信息。只有把多个传感器信息融合起来，才是实现自动驾驶的关键。

现在路面上的很多汽车，甚至是展厅内的很多新车，内部都配备有基于摄像头、雷达、超声波或LIDAR等不同传感器的先进驾驶员辅助系统（ADAS）。

这些系统的数量将会随着新法案的通过而不断增加，例如在美国，就有强制要求安装后视摄像头的法案。此外，诸如车险打折优惠和美国公路交通安全管理局（NHTSA）、欧洲新车安全评鉴协会（Euro-NCAP）等机构做出的汽车安全评级正在使某些系统成为汽车的强制功能；另一方面，这也助长了消费者对它们的需求。

诸如自动泊车、公路巡航控制和自动紧急制动的自动驾驶汽车功能也在很大程度上依靠传感器来实现。重要的不仅仅是传感器的数量或种类，它们的使用方式也同样重要。目前，大多数路面上行驶车辆内的ADAS都是独立工作的，这意味着它们彼此之间几乎不交换信息。（没错，某些高端车辆具有非常先进的自动驾驶功能，不过这些功能还未普及）。后视摄像头、环视系统、雷达和前方摄像头都有它们各自的用途。通过将这些独立的系统添加到车辆当中，可以为驾驶员提供更多信息，并且实现自动驾驶功能。不过，你还可以突破限制，实现更多功能——参见图1。

图1：ADAS以汽车内单个、独立的功能存在。

传感器融合

仅仅通过多次使用相同种类的传感器无法克服每种传感器的缺点。反之，我们需要将来自不同种类传感器的信息组合在一起。工作在可见光谱范围内的摄像头CMOS芯片在浓雾、下雨、刺眼阳光和光照不足的情况下会遇到麻烦。而雷达缺少目前成像传感器所具有的高分辨率。我们可以在每种传感器中找到诸如此类的优缺点。

传感器融合这一想法的伟大之处在于获得不同传感器和传感器种类的输入内容，并且使用组合在一起的信息来更加准确地感知周围的环境。相对于独立系统，这样可以做出更好、更安全的决策。雷达也许不具有光传感器所具有的分辨率，不过它在测距和穿透雨、雪和浓雾方面具有很大优势。这些天气条件或光照不足的恶劣情况不利于摄像头发挥作用，不过摄像头能够分辨颜色（可以想一想街道指示牌和路标），并且具有很高的分辨率。目前路面上图像传感器的分辨率已经达到1百万像素。在未来几年内，图像传感器的发展趋势将是2百万，甚至4百万像素。

雷达和摄像头是两项传感器技术完美融合、互为补充的典范。采用这种方法的融合系统所实现的功能要远超这些独立系统能够实现的功能总和。使用不同的传感器种类可以在某一种传感器全都出现故障的环境条件下，额外提供一定冗余度。这种错误或故障可能是由自然原因（诸如一团浓雾）或是人为现象（例如对摄像头或雷达的电子干扰或人为干扰）导致。即使是在一个传感器失效的情况下，这样的传感器融合系统也可以保持某些基本或紧急的功能。完全借助报警功能，或者让驾驶员时刻做好准备，从而接管对车辆的控制，系统故障也许就不那么严重了。然而，高度和完全自动驾驶功能必须提供充足的时间让驾驶员重新获得对车辆的控制。在这段驾驶员接管车辆控制之前的时间范围内，控制系统需要保持对车辆最低限度的控制。

传感器融合系统示例

传感器融合的复杂程度有所不同，并且数据的类型也不一样。两个基本的传感器融合示例是：a）后视摄像头加上超声波测距；b）前方摄像头加上多模式前置雷达——参见图2。现在，我们可以通过对现有系统进行轻微更改和/或通过增加一个单独的传感器融合控制单元来对其进行实现。

图2：将前方雷达与前方摄像头融合在一起，以实现自适应巡航控制加车道保持辅助，或者将后视摄像头与超声波测距报警组合在一起来实现自动泊车。

后视摄像头+超声波测距

超声波泊车辅助技术在汽车市场内被广泛接受，并且已十分成熟；这项技术在泊车时能对邻近物体给出听得见或看得见的报警。正如之前提到的那样，到2018年，美国所有新出厂的车辆都必须安装后视摄像头。将来自二者的信息结合在一起，才能实现先进的泊车辅助功能，而其靠单一系统是无法实现的。后视摄像头使驾驶员能很清楚地看到车辆后方的情况，而机器视觉算法可以探测物体，以及路肩石和街道上的标记。通过超声波提供的补充功能，可以准确确定识别物体的距离，并且在低光照或完全黑暗的情况下，也能确保基本的接近报警。

前视摄像头+多模前置雷达

另一种强大的组合是将前视摄像头的功能与前置雷达组合在一起。前置雷达能够在任何天气条件下测量高达150米的物体的速度和距离。摄像头在探测和区分物体方面（包括读取街道指示牌和路标）十分出色。通过使用具有不同视场角（FoV）和不同光学元件的多个摄像头传感器，系统可以识别车前通过的行人和自行车，以及150米甚至更远范围内的物体，同时，其还可以可靠实现自动紧急制动和城市启停巡航控制等功能。

许多情况下，在特定的已知外部条件下，仅通过一种传感器或单个系统，就能够执行ADAS功能。然而，考虑到路面上有很多不可预计的情况，这还不足实现可靠运行。传感器融合除了能实现更复杂和自主的功能外，还可以在现有功能中实现更少的误报和漏报。说服消费者和立法者，使他们相信汽车可以由“一台机器”自主驾驶，将会十分关键。

传感器融合系统分割

与汽车内每个系统单独执行各自的报警或控制功能不同，在一个融合系统中，最终采取哪种操作是由单个器件集中决定的。现在的关键问题就是在哪里完成数据处理，以及如何将传感器的数据发送到中央电子控制单元（ECU）。当对不是集中在一起而是遍布车身的多个传感器进行融合时，我们就需要专门考虑传感器和中央融合ECU之间的连接和电缆。对于数据处理的位置也是如此，因为它也会影响整个系统的实现。让我们来看一看可能的系统分割中的两种极端情况。

集中式处理

集中式处理的极端情况是，所有的数据处理和决策制定都是在同一个位置完成，数据是来自不同传感器的“原始数据”——请见图3。

图3：具有“传统”卫星式传感器模块的集中处理。

优点：

传感器模块——传感器模块体积小巧，成本低，功耗也低，这是因为其只需要执行检测和数据传输任务。传感器的安装位置也很灵活，并且所需安装空间很小。替换成本低。通常情况下，由于无需处理或做决策，传感器模块具有较低的功能安全要求。

处理ECU——中央处理ECU可以获取全部数据，这是因为数据不会因为传感器模块内的预处理或压缩而丢失。由于传感器成本较低，并且外形尺寸较小，因此可以部署更多的传感器。

缺点：

传感器模块——实时处理传感器数据需要提供宽带通信（高达数Gb/s），因此可能出现较高电磁干扰（EMI）。

处理ECU——中央ECU需要有高处理能力和速度来处理所有输入数据。对于很多高带宽I/O和高端应用处理器来说，这意味着更高的电能需求和更大的散热量。传感器数量增加将大幅增加对中央ECU性能的需要。通过使用FPD-link III等接口，在一根同轴电缆上传送传感器及功耗、控制和配置等多种数据（双向反向通道），有些缺点可以被克服。这样便可极大降低系统的接线要求。

全分布式系统

另一种截然不同的极端情况是全分布式系统。这种情况是由本地传感器模块进行高级数据处理，并在一定程度上进行决策制定的。全分布式系统只将对象数据或元数据（描述对象特征和/或识别对象的数据）发回到中央融合ECU。ECU将数据组合在一起，并最终决定如何执行或做出反应——请见图4。

图4：传感器数据由传感器模块处理、决策由中央ECU制定的分布式系统。

全分布式系统既有优点又有缺点。

优点：

传感器模块——传感器模块与中央ECU之间可以使用更低带宽、更加简单且更加便宜的接口。在很多情况下，小于1Mb/s的CAN总线就足够用了。

处理ECU——中央ECU只将对象数据融合在一起，因此其所需处理能力更低。对于某些系统来说，用一个高级的安全微控制器就足够了。模块更小，所需功耗也就更低。由于很多处理都是在传感器内部完成的，传感器数量增加不会大幅增加对中央ECU的性能需求。

缺点：

传感器模块——传感器模块需要有应用处理器，这样的话就会变得体积更大、价格更高且功耗更大。由于本地处理和决策制定，传感器模块的功能安全要求也就更高。当然，增加更多的传感器，成本也会大幅上升。

处理ECU——中央决策制定ECU只能获取对象数据，而无法访问实际的传感器数据。因此，想要“放大”感兴趣的区域很难实现。

寻找黄金分割

根据系统中所使用传感器的数量与种类，以及针对不同车型和升级选项的可扩展性要求，将两个拓扑混合在一起就可获得一个优化解决方案。目前很多融合系统使用带本地处理的传感器用于雷达和激光雷达（LIDAR），使用前置摄像头用于机器视觉。一个全分布式系统可以使用现有的传感器模块与对象数据融合ECU组合在一起。诸如环视和后视摄像头的系统中的“传统”传感器模块可以让驾驶员看到周围的环境情况——请见图5。可以将更多的ADAS功能集成进驾驶员监测或摄像头监控系统等融合系统中，但是传感器融合的原理还是一样。

图5：汽车传感器的产品完美结合。

平台管理、目标汽车细分、灵活性和可扩展性是重要的经济因素；这些因素也在分割和设计融合系统时发挥着重要作用。对于任一特定情况，所得系统也许不是最佳设计方案，但是从平台和车队的角度看，它却可能是最佳方案。

谁是所有这些传感器数据的“观看者”？

关于ADAS，我们还有两个方面没有讨论到：信息ADAS对功能ADAS。前者就是当驾驶员仍然对汽车完全掌控时，扩大和延伸驾驶员的感官范围（例如环视和夜视）。第二个是机器视觉，它使汽车能够感知周围环境，并做出自我决策以及执行（自动紧急制动、车道保持辅助）。传感器融合自然而然地将这两个世界合而为一。

正因如此，我们才有可能将同一传感器应用于不同用途，不过这么做的代价就是在选择最佳模块间通信和处理位置方面受到了限制。以环视为例，这项功能最初的设计目的是，通过将视频传入到中央显示屏上，为驾驶员提供360度视场角。为什么不使用同样的摄像头，并将机器视觉应用到其上呢？后视摄像头可用于实现倒车保护或自动停车，而侧视摄像头可用于实现盲点检测/报警，也包括自动泊车。

单独使用的机器视觉在传感器模块内进行本地处理，然后通过CAN总线等简单的低带宽连接将对象数据甚至是命令传送出去。然而，这种连接不足以传送完整的视频流。视频压缩当然可以降低所需带宽，但是还不足以将所需带宽降到百兆位范围内，并且它本身也存在一些问题。随着高动态范围（HDR）分辨率、帧速率和曝光数增加，这变得更加困难。高带宽连接和摄像头模块不参与数据处理解决了视频的问题，但是现在需要将处理添加到中央ECU，以便在其中运行机器视觉。缺少中央处理能力或散热控制会成为这种解决方案的瓶颈。

虽然在传感器模块中进行处理并同时使用高带宽通信在技术上并不是不可实现，但从总体系统成本、功耗和安装空间角度来讲并不十分有利。

传感器融合配置的可靠运行

由于很多融合系统能够在没有驾驶员的情况下执行特定汽车功能（例如转向、制动和加速）的自主控制，我们需要对功能安全进行认真考虑，以确保在不同条件下和汽车的使用寿命内系统能够安全和可靠运行。一旦做出决策，并随后采取自主操作，那么对于功能安全的要求将会大幅提升。

若采用分布式的方法，每个处理关键数据或制定决策的模块必须符合那些增加的标准。与只搜集和发送传感器信息的模块相比，这会增加物料清单（BOM）成本、尺寸、功耗和软件。在安装空间不足的环境中，器件很难冷却，并且其损坏的风险和所需的更换也很高（一次简单的小事故有可能需要更换保险杠和所有相连的传感器），这可能抵消具有多个传感器模块的分布式系统的优势。

如果采用“传统”传感器模块，则需进行自检和故障报告，以实现整个系统的安全运转，但是其还未达到智能传感器模块的程度。

虽然纯粹的驾驶员信息系统可以在它们的功能受到损害时关闭并将其通报给驾驶员，但是高度自主驾驶功能就没有那么自由了。想象一下一辆汽车正在执行紧急制动操作，然后又突然解除并松开制动器的情况。或者说，汽车在公路上行驶时，整个系统关闭，而此时驾驶员正在汽车“全自动驾驶”状态下呼呼大睡（未来可能的一个场景）。在驾驶员能够安全控制车辆之前，系统需要继续保持工作一段时间，而这至少需要有几秒到半分钟。系统必须运行到何种程度，以及如何确保在故障情况下运转，这些问题在业内似乎还未达成明确共识。具有自动驾驶功能的飞机通常情况下使用冗余系统。虽然我们一般情况下认为它们是安全的，不过它们造价昂贵并且占用大量空间。

传感器融合将会是迈向自动驾驶及享受旅途时光和驾驶乐趣的关键一步。

多传感器信息融合算法

智能汽车的显著特点在于智能，意思就是说汽车自己能通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标。目前而言，车载感知模块包括视觉感知模块、毫米波雷达、超声波雷达、360°环视系统等，多源传感器的协同作用识别道路车道线、行人车辆等障碍物，为安全驾驶保驾护航。因此，感知信息也需要融合，感知信息也需要相互补充。

这里引出一个重要的概念：多传感器信息融合（information fusion）。各种不同的传感器，对应不同的工况环境和感知目标。比方说，毫米波雷达主要识别前向中远距离障碍物（0.5米-150米），如路面车辆、行人、路障等。超声波雷达主要识别车身近距离障碍物（0.2米-5米），如泊车过程中的路沿、静止的前后车辆、过往的行人等信息。两者协同作用，互补不足，通过测量障碍物角度、距离、速度等数据融合，刻画车身周边环境和可达空间范围。

图6：智能汽车感知模块

信息融合起初叫做数据融合（data fusion），起源于1973年美国国防部资助开发的声纳信号处理系统，在20世纪90年代，随着信息技术的广泛发展，具有更广义化概念的“信息融合”被提出来，多传感器数据融合MSDF (Multi-sensor Data Fusion）技术也应运而生。

数据融合主要优势在于：充分利用不同时间与空间的多传感器数据资源，采用计算机技术按时间序列获得多传感器的观测数据，在一定准则下进行分析、综合、支配和使用。获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它各组成部分更为充分的信息。

一般地，多源传感器数据融合处理过程包括六个步骤，如下图所示。首先是多源传感系统搭建与定标，进而采集数据并进行数字信号转换，再进行数据预处理和特征提取，接着是融合算法的计算分析，最后输出稳定的、更为充分的、一致性的目标特征信息。

图7：多源数据融合过程

利用多个传感器所获取的关于对象和环境全面、完整信息，主要体现在融合算法上。因此，多传感器系统的核心问题是选择合适的融合算法。对于多传感器系统来说，信息具有多样性和复杂性，因此，对信息融合方法的基本要求是具有鲁棒性和并行处理能力,以及方法的运算速度和精度。以下简要介绍三种种常用的数据融合算法，包括贝叶斯统计理论，神经网络技术，以及卡尔曼滤波方法。

深圳市亮键电子科技有限公司成立于2009年11月，注册资金100万元，员工50~100人。公司主要业务为设计和生产印刷薄膜压力传感器、汽车压力传感器、智能传感器等产品。公司秉承“质量至上，客户满足！保护环境，预防污染！以人为本，保障健康！遵守法则持续改善”的经营理念，5年多来本公司始终坚持产品质量与服务质量并重，为顾客提供优质产品和服务。期盼您的来电，我们竭诚为您服务！

联系人：马经理

手机号码：13923429260 （微信同步）

邮编：518106

QQ:123673685

业务QQ1：2853084031    

业务QQ2:2853084037

邮箱：lj01@bmxl88.com