智能车辆多传感器融合解决方案:利用时空证据和独立视觉通道提升车辆感知

  • 时间:
  • 浏览:6
  • 来源:3分彩网投平台-3分彩投注平台_3分彩娱乐平台

对于智能车辆来说,多传感器融合对于高精度和鲁棒性的感知交通环境至关重要。在这篇论文中,让我门我门我门提出了并都有有效的方法,即流年证据生成和独立视觉通道,以改善多传感器跟踪水平对车辆环境感知的影响。流年证据包括即时证据、跟踪证据和跟踪匹配证据,以改进趋于稳定融合。

独立视觉通道利用视觉防止在物体识别上的特殊优势来改进分类融合。利用从实际交通环境中整理的多传感器数据集对所提出的方法进行了评估。实验结果表明,该方法在检测精度和分类精度方面均可显著提高多传感器轨道级融合。

作者:Juwang Shi, Wenxiu Wang, Xiao Wang, Hongbin Sun*, Xuguang Lan, Jingmin Xin and Nanning Zheng

原文题目:Leveraging Spatio-Temporal Evidence and Independent Vision Channel to Improve Multi-Sensor Fusion for Vehicle Environmental Perception

1、介绍

交通环境中的物体感知的鲁棒性对于自动驾驶和高级驾驶辅助系统( ADAS )都具有重要意义。物体感知可不需用通过不例如型的传感器来实现,例如激光雷达、雷达和摄相机。激光雷达和雷达是有源传感器,可不需用测量物体的精确距离,但物体分类的能力较差。而摄像机在物体识别方面表现出优异的性能,有些测量物体距离的能力较差。雷达对测量物体的下行速率 更敏感,激光雷达更适合于感知物体的价值形式。总之,哪些传感器各有优缺点[ 1 ]。有些,融合不同的传感器有望实现物体感知的高精度和鲁棒性。

传感器融合系统机会被研究了几十年。通常,传感器融合方法可分为三类:低级、价值形式级和高级融合方法。

低级融合架构不需用在传感器级对原始数据进行预防止。尽管低级融合[ 2 ]对物体有很强的描述能力,但它需用很高的数据下行速率 ,有些在实践中实施起来机会很错综复杂。

价值形式级融合[ 3 ]试图在进行数据融合后来,通过预防止步骤从原始数据中提取有些价值形式。价值形式级融合可不需用降低错综错综复杂,但在实践中仍然难以实现。

在高级融合[ 4 ]中,每个传感器独立地执行跟踪算法并生成目标列表。高级融合可不需用产生最佳的感知性能,机会它具有模块化、实用性和可扩展性。

有些,在本文中,让我门我门我门将重点放在高级融合上,也称为轨道级融合。轨道级融合的一5个潜在缺点是它对物体的描述能力较差。有些,在轨道级融合设计中,让我门我门我门应该更加关注物体的删剪描述,如分类、价值形式等。

有些轨道级融合方法[ 5 ]–[ 7 ]机会被提出,并对目标感知做出了巨大贡献。在跟踪目标时,让我门我门我门主要关注并都有信息:1 )目标的趋于稳定概率;2 )目标情况的准确性,包括位置、下行速率 和方向,反映在目标的全局轨迹上;3 )有些描述信息的删剪性,如分类、价值形式等。

有些,轨道级融合主要包括趋于稳定融合、轨道间融合和分类融合。参考文献[ 5 ]和[ 6 ]使用基于证据理论( DST )的趋于稳定融合方法来估计物体的趋于稳定概率。然而,它们的趋于稳定证据只考虑瞬时的空间证据,而忽略了时间证据,有些会产生相对高的误报率和误报率,不得劲是在层厚动态的交通环境下。参考[ 5 ]和[ 7 ]提出了使用信息矩阵融合( IMF )来估计物体情况的轨道间融合方法。然而,它们像有些主动传感器一样融合图像对象,一起去忽略图像对象的不准确位置,这是意味相对高的假阴性率、检测的假阳性率和相对低的正确识别率。

图1 :最新轨道级融合的框架

为了防止上述一5个哪些的难题,让我门我门我门提出了并都有方法,即流年证据生成( STEG )和独立视觉通道( IVC ),以改进多传感器轨道级融合。STEG方法提高了趋于稳定估计的准确性,从而提高了轨道级融合的检测精度。IVC方法不仅提高了轨道融合的检测率,有些提高了轨道融合的正确分类率。利用从实际交通环境中整理的多传感器数据集对所提出的方法进行了评估。实验结果清楚地证明了所提方法在轨道级融合中的有效性。与那末STIG的方法相比,所提出的STIG方法在例如误报率的情况下将目标检测的误报率降低了0.06,有些在例如误报率的情况下与那末STIG的方法相比将误报率降低了0.08。一起去,所提出的IVC方法将目标检测的假阴性率降低了0.01,并将目标识别的正确分类率提高了0.19。

2、轨道级融合的背景

为了正确检测室外环境中的目标,有些大多数情况下不不机会进入和遗弃视场而丢失物体信息,多传感器数据应该在轨道级融合。如图1所示,轨道级融合的框架包括传感器级防止、融合级防止和应用级防止。在传感器级防止中,让我门我门我门独立地从每个传感器获得传感器局部对象列表:

其中t是时间戳,Si表示传感器i,Oj是对检测对象的描述,包括情况xˇ、情况协方差Pˇ、趋于稳定概率p和分类c。在融合级防止中,来自不同传感器的对象列表首先在空间和时间上与公共坐标系对齐。跟踪到跟踪关联后,传感器级对象会列出DtS1…SN通过趋于稳定融合、轨道融合和分类融合融合在一起去,形成全局目标列表DtG。在应用任务管理器池池级防止中,全局对象列表DtG与特定应用任务管理器池池的有些数据源相结合。

趋于稳定融合是从独立的传感器级估计中融合目标趋于稳定概率,生成全局目标趋于稳定概率估计。这对提高目标跟踪的鲁棒性非常重要。对于单传感器目标跟踪,趋于稳定概率主要通过归一化创新平方( NIS )来估计。最近还提出了几种更先进的方法。例如,[ 8 ]提出了并都有利用立体视觉和跟踪过程中的哪有几个线索来估计物体趋于稳定概率的方法。对于多传感器目标跟踪,在综合概率数据关联( IPDA )框架中开发了目标趋于稳定概率估计,作为检测目标的质量度量[ 9 ]。参考文献[ 6 ]提出了并都有基于DST的目标趋于稳定概率估计的融合方法,其中组合了由每个传感器估计的目标趋于稳定。

轨道间融合来自独立传感器级估计的目标情况及其协方差,以生成全局目标情况估计。参考[ 10 ]提出了目标轨道融合( OTF )方法,其中传感器级轨迹被视为对全局目标轨迹的测量,忽略了相关性和信息冗余。参考文献[ 11 ]介绍了轨道到轨道融合( T2T )方法,该方法通过近似技术计算互相关度,你这名 方法趋于稳定缺乏。IMF在用于将多传感器该人的目标轨迹融合成全局轨迹,并显示出出色的性能。基于IMF的方法在[ 7 ]中提出,该方法使用IMF来防止下行速率 相关性,实现了集中式架构的可比性能。[ 12 ]对现有的用于物体情况估计的轨道间融合方法进行了精度比较。它表明IMF对过程噪声最鲁棒,在过程模型偏差期间最准确和一致。

分类融合旨在改进全局对象的分类估计。大多数分类融合方法基于证据理论,这是并都有基于不删剪和不选折 信息的决策工具。对于全局对象分类融合,找到离米 的证据至关重要。参考[ 13 ]–[ 15 ]使用基于DST的方法来估计全局目标轨迹的分类。[ 13 ]提议的基于DST的融合方法依赖于一5个主要证据:瞬时融合证据,从当前每个物体的单个传感器提供的证据组合中获得;以及动态融合证据,其将来自先前结果的证据与瞬时融合结果相结合。在[ 14 ]中,作者提出了并都有基于证据理论的目标栅格地图融合,以决定是否趋于稳定栅格。提出了并都有基于DST的分类方法[ 15 ]来融合全局轨迹的瞬时分 类结果和先前的分类结果。参考[ 16 ]和[ 17 ]使用Yager规则组合来自不同传感器的物体分类证据,进一步用于关联来自不同传感器的物体。

3、轨道级融合

A.总体框架

图2示出了让我门我门我门所提出的轨道级融合的框架。整体框架非常例如于最先进的轨道级融合框架。不得劲是,对于时间和空间对齐,让我门我门我门采用了让我门我门我门先前工作[ 8 ]中介绍的相同方法,将独立的传感器级对象列表同步并校准到公共坐标系。有些,让我门我门我门使用匈牙利算法来关联来自多个传感器的时间和空间对齐的对象列表。让我门我门我门将DST用于趋于稳定融合和分类融合,以及IMF用于轨道到轨道融合。主却说意味是DST和IMF分别是最有效的方法。

图2 :轨道级融合框架

本文提出的框架和最新框架之间的主要区别可不需用描述如下。

让我门我门我门提出了并都有基于DST的趋于稳定融合流年证据生成方法。让我门我门我门一起去考虑空间瞬时证据、时间跟踪证据和跟踪匹配证据,以改进趋于稳定融合。

让我门我门我门使用独立的视觉通道将图像对象信息融合到全局轨道中。IVC的使用不仅可不需用改进分类融合,还可不需用防止对航迹融合的负面影响。

B.流年证据生成

1 )即时证据生成:当一5个物体再次出现在感知范围内时,让我门我门我门需用证据来即时支持趋于稳定融合。单个传感器趋于稳定估计的鲁棒性实际上非常低。有些,直接使用单传感器趋于稳定估计[ 6 ]进行趋于稳定融合是不离米 的。为了提高目标检测的鲁棒性,让我门我门我门使用瞬时测量的匹配信息作为证据来支持目标趋于稳定估计。让我门我门我门使用匈牙利算法不不同传感器获取不同目标列表的瞬时匹配信息,其中让我门我门我门计算不同列表中目标之间的欧氏距离作为权重矩阵。

让我门我门我门将临界距离定义为d1max,并将一5个独立传感器的距离定义为di,j。机会di,j小于d1max且对象i与对象j匹配,则定义瞬时证据质量,利用Sigmod函数将di,j映射到质量集[a,b]。Sigmod函数定义为

其中ε是接近于零的正常量。

2 )跟踪证据生成:当一5个物体在一段时间内只被一5个传感器检测到时,让我门我门我门无法从多个传感器获得证据。机会单个传感器对目标的瞬时测量不稳定,让我门我门我门将目标跟踪历史作为趋于稳定融合的证据。

让我门我门我门计算一段时间内同一轨道上当前帧和前一帧的对象之间的平均欧氏距离,以获得支持趋于稳定估计的质量。几滴 证据被定义为

其中ε是如B1小节中提到的常数,d2max是与物体下行速率 相关联的临界距离。davg由轨道的长度和平滑度估计,定义为

其中k是当前时间戳,n - 1是轨道的选定长度。

3 )跟踪匹配证据生成:机会一5个物体在一段时间内被哪有几个传感器一起去观察到,这是意味你这名 物体几乎肯定趋于稳定。这是物体趋于稳定融合的有力证据。

在本文中,让我门我门我门计算来自不同传感器的一5个目标轨道的平均欧几里德距离,以获得支持趋于稳定估计的质量。几滴 有力的证据被定义为

其中ε是接近零的正常数,dt2t是两条轨道之间的平均距离。Dt2t定义为

其中ki是时间戳,而i,j代表不同的传感器,n是轨道长度。

4 )基于DST的趋于稳定融合:对于目标趋于稳定概率融合,让我门我门我门获得了上述并都有证据,即瞬时证据、跟踪证据和跟踪匹配证据。

趋于稳定概率识别框架定义为

其中彐代表趋于稳定。实际上,让我门我门我门计算质量m(彐 )和质量m(θ),其中θ是未知的命题。在[ 6 ]中,机会一5个物体在传感器的范围内,而传感器未能检测到该物体,它们定义了m(彐 )的质量。机会遮挡哪些的难题和传感器的不可靠性,这是不离米 的。有些,假设A代表趋于稳定或未知的命题,让我门我门我门有一5个质量值来支持如上计算的命题A、m1(A )、m2(A )和m3(A )。让我门我门我门使用[ 6 ]中提出的组合和判别规则计算融合趋于稳定概率,该规则定义为

其中K定义为

C.独立视觉通道

在所有传感器中,摄像机传感器的识别能力是最出色的。有些,需用融合图像信息,以实现全面的物体感知。然而,由图像传感器检测到的物体的真实位置不不像有些有源传感器那样精确,机会摄像机校准参数只能适应室外交通环境的所有条件。例如,安装下 车辆上的摄像机机会会随着车辆在不平的道路上行驶而晃动。机会IMF方法使用与有些传感器相同的图像对象列表,将是意味相对较高的对象检测假阴性和假阳性率,从却说意味相对较低的对象识别正确分类率。参考[ 19 ]指出了图像对象的不准确位置,有些提出了并都有融合图像信息的方法。然而,该方法要求有些传感器需用获得几何信息以匹配图像对象的价值形式,这对于那末感知价值形式信息能力的传感器来说通常是不可用的。

为了防止上述哪些的难题,让我门我门我门提出了并都有独立的视觉通道方法来更恰当地融合图像对象信息。提出的独立视觉通道独立防止图像对象列表,防止了对轨道融合的负面影响。此外,独立的视觉通道将图像信息传递给有源传感器的目标,有些也可不需用改进轨道级融合的分类估计。让我门我门我门首先使用A3小节中提到的轨道匹配算法将图像对象的轨道与有些传感器的轨道进行匹配。当当前时间戳或先前时间戳的dt2t小于d3max时,让我门我门我门将图像对象信息(如分类)传输到后来活动传感器的对象。后来,让我门我门我门首先使用DST作为等式( 12 ),将转移的分类c——i和自含分类cSj融合为c——Sj。有些,让我门我门我门使用DST作为等式( 13 ),将当前分类和先前分类进行融合。

4、实验结果

A.实验装置

所有物体感知实验总要西安交通大学开发的“发现号”自动驾驶车辆研究平台上进行。该平台旨在满足一般自主驾驶研究的要求,一起去也在努力应对环境感知的挑战。“发现”在2017年赢得了中国智能车辆未来挑战( IVFC )。如图3 ( a )所示,“发现号”安装有一台德尔菲ESR MMW雷达、一台单目点灰色摄像机和一台ibeo LUX - 8L。图3 ( b )示出了一5个传感器的具体感知范围。表I列出了这并都有传感器的类型、视场( FOV )、范围和更新下行速率 。

实验中使用的数据集是由安装下 西安市城市道路“发现号”上的多个传感器整理的。摄像机和雷达的捕获下行速率 为10fps,激光雷达的捕获下行速率 为6.25fps。让我门我门我门机会一起去捕获了45287帧的同步数据集,包括相机、激光雷达和雷达数据。从数据集中,让我门我门我门选折 一5个会话来测试建议的方法,如表所示

图3 : XJTU自动驾驶车辆研究平台“发现号”的传感器配置

让我门我门我门机会预防止了一5个选定的会话。MMW雷达目标直接从雷达传感器读取,图像目标由单镜头多盒检测器( SSD ) [ 20 ]模型检测,激光雷达数据由基于密度的带噪声应用空间聚类( DBSCAN ) [ 21 ]防止。雷达和激光雷达的目标分别被卡尔曼滤波器跟踪。

B.流年证据生成的结果

与文献[6]中提出的流年证据生成方法相比,本文提出的流年证据生成方法从目标检测的假阴性率和假阳性率两方面对该方法进行了评价。机会趋于稳定一5个对象,则将其与全局轨道相融合。有些,为了评估趋于稳定性融合的性能,让我门我门我门分别计算了目标检测的全局假阴性率和假阳性率。

在让我门我门我门的工作中,让我门我门我门为Steg方法选折 了一组参数,d1max=d2max=d3max=2.2m;ε=0:0001。该方法可不需用通过改变目标检测的参数来调整目标检测的假阴性率和假阳性率。有些,让我门我门我门选折 了两组参数,即不带STEG 1的参数,与STEG方法例如的假阳性率参数和不带步骤2的参数,与STEG方法的假阴性率例如。表三列出了前面方法的两组参数。雷达信任度是激光雷达传感器的感知范围。在感知范围内,机会雷达传感器检测到目标,而激光雷达传感器再次出现故障,则是意味目标的不趋于稳定。

如图4所示,在例如假阳性率的情况下,所提出的STEP方法比不带STG的方法降低了目标检测的假阴性率0.06;在例如假阴性率的情况下,与那末STIG的方法相比,该方法降低了0.08%的假阳性率。

图4:STEG检测精度比较

C.独立视觉通道的结果

图5 :对象ID变化比较的示例

较高的误检率会是意味全局目标轨迹的识别号(ID)趋于稳定较大的变化。IVC方法可不需用减少假阴性率和ID变化次数。图5(A)示出交通场景,其中正面汽车(标记为红色边框)正在移动。图5(B)分别示出了该方法与IVC提供的汽车轨道的ID变化比较,以及不使用IVC的方法,其中要素颜色代表一5个ID。所提出的IVC方法提供的轨迹ID在20秒内不趋于稳定变化,但在那末IVC的情况下,该方法提供的ID变化了两次。图6示出了目标检测的假阴性率和假阳性率的比较。比较结果表明,与不含IVC的方法相比,采用IVC的方法可使假阴性率降低0.01。随便说说对目标检测的假阴性率的提高相对较小,但可不需用减少ID的平均变化次数,从而有效地提高了分类融合的效果。

本文采用基于DST的分类融合方法,利用现有的传感器证据和以往的全局分类证据来选折 目标的分类。有些,当对象ID趋于稳定变化时,会丢失后来的分类证据,从却说意味分类正确率较低。图7示出了对象id的平均变化时间和正确的分类率。结果表明,该方法的平均变化次数为0.67,比无IVC的方法低3倍以上。该方法的正确分类率为0.78,比不含IVC的方法高0.19。

图6:IVC检测精度比较

图7 : IVC分类精度比较

4、结论

在这篇论文中,让我门我门我门提出了并都有方法来改进用于目标感知的轨道级融合。首先,让我门我门我门提出了并都有流年证据生成方法,用于目标趋于稳定概率融合,以降低误报率和误报率。其次,让我门我门我门提出了并都有独立的视觉通道方法来改进跟踪-跟踪融合和分类融合。最后,通过从实际交通环境中整理的多传感器数据集对所提出的方法进行了评估。实验结果表明,该方法在检测精度和分类精度方面均可显著提高多传感器轨道级融合。在未来的工作中,让我门我门我门将考虑使用摄像机对道路场景的理解来帮助物体融合感知。

REFERENCES

[1] S. Sivaraman and M. M. Trivedi, “Lookingat vehicles on the road: A survey of vision-based vehicle detection, tracking,and behavior analysis,” IEEE Transactions on Intelligent TransportationSystems,vol. 14, no. 4, pp. 1773–1795, 2013.

[2] S. Pietzsch, T. D. Vu, O. Aycard, T.Hackbarth, N. Appenrodt, J. Dickmann, and B. Radig, “Results of a precrashapplication based on laser scanner and short-range radars,” IEEE Transactionson Intelligent Transportation Systems, vol. 17, no. 7, pp. 584–593, 309.

[3] N. Kaempchen, M. Buhler, and K. Dietmayer,“Feature-level fusion for free-form object tracking using laserscanner andvideo,” in IEEE Intelligent Vehicles Symposium, 305, pp. 453–458.

[4] M. Aeberhard and N. Kaempchen,“High-level sensor data fusion architecture for vehicle surround environmentperception,” in International Workshop on Intelligent Transportation, 2011.

[5] M. Aeberhard, S. Schlichtharle, N.Kaempchen, and T. Bertram,“Track-to-track fusion with asynchronous sensors using information matrixfusion for surround environment perception,” IEEE Transactions on IntelligentTransportation Systems, vol. 13, no. 4, pp. 1717–1726, 2012.

[6] M. Aeberhard, S. Paul, N. Kaempchen,and T. Bertram, “Object existence probability fusion using dempster-shafertheory in a highlevel sensor data fusion architecture,” in IEEE IntelligentVehicles Symposium, 2011, pp. 770–775.

[7] H. Li, F. Nashashibi, B. Lefaudeux, andE. Pollard, “Track-to-track fusion using split covariance intersection filter-informationmatrix filter (SCIF-IMF) for vehicle surrounding environment perception,” inIEEE International Conference on Intelligent Transportation Systems, 2013, pp.1430–1435.

[8] S. Gehrig, A. Barth, N. Schneider, andJ. Siegemund, “A multi-cue approach for stereo-based object confidenceestimation,” in IEEE/RSJ International Conference on Intelligent Robots andSystems, 2012, pp. 3055–3030.

[9] D. Musicki, R. Evans, and S. Stankovic,“Integrated probabilistic data association,” IEEE Transactions on AutomaticControl, vol. 39, no. 6, pp. 1237–1241, 1994.

[10] Y. Bar-Shalom and X. Li, Multitarget-multisensortracking: principles and techniques. Storrs, CT: YBS Publishing, 1995.

[11] H. Chen, T. Kirubarajan, and Y. Bar-Shalom,“Performance limits of track-to-track fusion versus centralized estimation:theory and applica- tion,” IEEE Transactions on Aerospace and ElectronicSystems,vol. 39, no. 2, pp. 386–30, 303.

[12] S. Nilsson and A. Klekamp, “A comparisonof architectures for track fusion,” in IEEE International Conference onIntelligent Transportation Systems, 2015, pp. 517–522.

[13] T. D. Vu, O. Aycard, and F. Tango, “Objectperception for intelligent vehicle applications: A multi-sensor fusionapproach,” in IEEE Intelligent Vehicles Symposium, 2014, pp. 774–730.

[14] D. Nuss, M. Thom, A. Danzer, and K. Dietmayer,“Fusion of laser and monocular camera data in object grid maps for vehicleenvironment perception,” in IEEE International Conference on InformationFusion, 2014, pp. 1–8.

[15] M. Aeberhard and T. Bertram, “Objectclassification in a high-level sensor data fusion architecture for advanceddriver assistance systems,” in IEEE International Conference on IntelligentTransportation Systems, 2015, pp. 416–422.

[16] R. O. Chavez-Garcia, T. D. Vu, and O.Aycard, “Fusion at detection level for frontal object perception,” in IEEEIntelligent Vehicles Symposium Proceedings, 2014, pp. 1225–1230.

[17] R. O. Chavez-Garcia and O. Aycard,“Multiple sensor fusion and classification for moving object detection andtracking,” IEEE Transactions on Intelligent Transportation Systems, vol. 17,no. 2, pp. 525–534, 2016.

[18] X. Wang, L. Xu, H. Sun, J. Xin, and N.Zheng, “On-road vehicle detection and tracking using mmw radar and monovisionfusion,” IEEE Transactions on Intelligent Transportation Systems, vol. 17, no.7, pp. 2075–2084, 2016.

[19] H. Cho, Y. W. Seo, B. V. K. V. Kumar,and R. R. Rajkumar, “A multi-sensor fusion system for moving object detectionand tracking in urban driving environments,” in IEEE International Conferenceon Robotics and Automation, 2014, pp. 1836–1843.

[20] L. Wei, D. Anguelov, D. Erhan, C. Szegedy,S. Reed, C. Fu, and A. C. Berg, “SSD: single shot multibox detector,” inEuropean Conference on Computer Vision, 2016, pp. 21–37.

[21] X. Zhang, W. Xu, C. Dong, and J. M.Dolan, “Efcient L-shape tting for vehicle detection using laser scanners,” inIEEE Intelligent Vehicles Symposium, 2017, pp. 54–59.

论文介绍及作者情况:

This work was supported partly by National Key R&D Program of China

(No. 2017YFC0303907), National Natural Science Foundation of China

(No. 61790563, 91748208), and Joint Foundation of Ministry of Education

of China (No. 6141A02033303)

The authors are with the Institute of Artificial Intelligence and Robotics,

Xi’an Jiaotong University, Xi’an, Shaanxi, 73049 P.R. China

*Corresponding author: Hongbin Sun, hsun@mail.xjtu.edu.cn