基于毫米波雷达点云的路口车辆轨迹跟踪方法

doi:10.12141/j.issn.1000-565X.230100

华南理工大学学报(自然科学版) ›› 2023, Vol. 51 ›› Issue (10): 110-125.doi: 10.12141/j.issn.1000-565X.230100

所属专题： 2023绿色智慧交通系统专辑

基于毫米波雷达点云的路口车辆轨迹跟踪方法

林永杰¹^,² 陈宁¹ 卢凯¹^,²

^1.华南理工大学土木与交通学院，广东广州 510640
^2.人工智能与数字经济广东省实验室（广州），广东广州 510330

收稿日期:2022-03-08 出版日期:2023-10-25 发布日期:2023-06-06
通信作者: 卢凯（1979-），男，教授，博士生导师，主要从事交通信号控制、交通大数据挖掘和车路协同研究。 E-mail:kailu@scut.edu.cn
作者简介:林永杰（1987-），男，副教授，博士生导师，主要从事交通检测与数据建模、交通信号控制、车路协同研究。E-mail:linyjscut@scut.edu.cn
基金资助:
广东省自然科学基金青年提升资助项目(2023A1515030120);国家自然科学基金青年基金资助项目(61903145)

Vehicle Trajectory Tracking at Intersections Based on Millimeter Wave Radar Point Cloud

LIN Yongjie¹^,² CHEN Ning¹ LU Kai¹^,²

^1.School of Civil Engineering and Transportation，South China University of Technology，Guangzhou 510640，Guangdong，China
^2.Guangdong Artificial Intelligence and Digital Economy Laboratory，Guangzhou 510330，Guangdong，China

Received:2022-03-08 Online:2023-10-25 Published:2023-06-06
Contact: 卢凯（1979-），男，教授，博士生导师，主要从事交通信号控制、交通大数据挖掘和车路协同研究。 E-mail:kailu@scut.edu.cn
About author:林永杰（1987-），男，副教授，博士生导师，主要从事交通检测与数据建模、交通信号控制、车路协同研究。E-mail:linyjscut@scut.edu.cn
Supported by:
the Natural Science Foundation of Guangdong Province Youth Enhancement Project(2023A1515030120);the National Natural Science Foundation of China(61903145)

摘要/Abstract

摘要：

毫米波雷达作为一种新兴的交通检测设备，受光照、天气等环境影响较小，能为道路交通感知、安全管控和信号配时优化等方面提供可靠的数据支撑。毫米波雷达获取的车辆轨迹数据蕴含着丰富的交通信息，反映了车辆时空运动特征，对交通参数提取、事件检测、驾驶行为分析、信号配时优化等具有重要意义。针对路口毫米波雷达检测车辆时数据丢失、易被遮挡，导致轨迹碎片化、有效跟踪率低等问题，文章采用多阶段关联的思想提出了一种基于短轨迹片段关联的车辆轨迹连续跟踪方法。首先，获取路口处毫米波雷达高频采集的二维点云数据，并进行清洗获取有效目标点云；其次，通过帧间关联从二维点云中提取短轨迹片段，并使用多重运动序列特征进行轨迹片段修正以剔除分裂轨迹；第三，基于时空维度的运动特性构建模糊相关函数描述车辆经过路口时多个短轨迹碎片之间的相关度，并利用匈牙利法求解关联度最高的构成目标短轨迹集合；最后，基于三次分段Hermite插值法修复短轨迹集合中缺失的轨迹点，推算完整轨迹并实现连续跟踪。利用真实路口采集的6 627帧二维点云数据进行试验，其结果表明：相较于传统轨迹跟踪算法，提出的方法在不同车流密度、监测方向和遮挡情况下均能取得较优的跟踪性能，其跟踪准确性为92.4%，平均轨迹间断数为4.5条，估计的车辆数准确率显著提升。

关键词: 交通检测, 车辆轨迹跟踪, 毫米波雷达, 短轨迹关联, 模糊相关函数

Abstract:

As an emergent traffic detection device, millimeter wave radar is little affected by environmental factors (e.g., light and weather) and can provide reliable data support for road traffic sensing, safety control and signal timing optimization. Vehicle trajectory data collected by millimeter wave radar contains rich traffic information, reflecting spatial-temporal characterization of vehicle motion, which is critical in traffic parameter extraction, abnormal detection, driving behavior analysis, signal timing optimization, etc. Aiming at solving the problems such as trajectory fragmentation and poor valid tracking rate caused by the vehicle data loss and easy occlusion of vehicles detected by millimeter wave radar in the intersection, this paper proposed a continuous tracking method of vehicle trajectory based on short trajectory fragment associations. Firstly, the 2D point cloud data with high frequency collected by millimeter wave radar at the intersection was acquired and cleaned to obtain valid target information. Secondly, short track fragments were extracted from 2D point clouds by inter-frame association, and multiple movement sequence feature was used for track fragment correction to reject split trajectories. Thirdly, the fuzzy correlation function was constructed based on the motion characteristics of the spatiotemporal dimension to describe the correlation among multiple short track fragments. Hungarian algorithm was employed to solve the set of target short track with the highest correlation. Finally, the missing trajectory points in the vehicle tracklet set were repaired based on the piecewise cubic Hermite interpolation, which derived complete trajectories and achieved continuous tracking. The experiments were conducted using 6 627 frames of 2D point cloud data collected at the real intersection. The results indicate that the proposed method achieves better tracking performance under different traffic densities, monitoring directions, and occlusions than the traditional trajectory tracking algorithm. Specifically, the trajectory tracking accuracy is 92.4%, the number of fragmentations is 4.5, and the accuracy of estimated vehicle volume is significantly improved.

Key words: traffic detection, vehicle trajectory tracking, millimeter wave radar, short track association, fuzzy correlation function

中图分类号:

U491.8

林永杰, 陈宁, 卢凯. 基于毫米波雷达点云的路口车辆轨迹跟踪方法[J]. 华南理工大学学报(自然科学版), 2023, 51(10): 110-125.

LIN Yongjie, CHEN Ning, LU Kai. Vehicle Trajectory Tracking at Intersections Based on Millimeter Wave Radar Point Cloud[J]. Journal of South China University of Technology(Natural Science Edition), 2023, 51(10): 110-125.

图/表 24

图1

图2

图3

图4

图5

图6

图7

表1

毫米波雷达详细参数"

参数	数值
最大目标个数	256
最大纵向探测距离/m	250
最大横向探测距离/m	50
速度范围/ $(k m · h - 1)$	-300~300
速度分辨率/ $(k m · h - 1)$	0.47（探测距离：100~250） 0.37（探测距离：10~100）
探测距离精度/m	±0.4（探测距离：100~250） 0.1（探测距离：10~100）
探测距离分辨率/m	1.79（探测距离：100~250） 0.39（探测距离：10~100）

表1

图8

表2

图9

表3

表4

图10

图11

图12

图13

图14

图15

图16

图17

图18

图19

图20

参考文献 36

1	NASERNEJAD P， SAYED T， AlSALEH R ．Modeling pedestrian behavior in pedestrian vehicle near misses：a continuous gaussian process inverse reinforcement learning （GP-IRL） approach［J］．Accident Analysis and Prevention，2021，161：106355/1-15.
2	马小龙，余强，刘建蓓．基于路侧毫米波雷达的车辆碰撞概率计算方法［J］．交通运输系统工程与信息，2022，22（1）：57-66.
	MA Xiao-long， YU Qiang， LIU Jian-bei ．A calculation method of vehicle collision probability based on roadside millimeter wave radar［J］．Journal of Transportation Systems Engineering and Information Technology，2022，22（1）：57-66.
3	CHEN Q， GU R， HUANG H，et al ．Using vehicular trajectory data to explore risky factors and unobserved heterogeneity during lane-changing［J］．Accident Analysis and Prevention，2021，151：106355/1-9.
4	游峰，梁健中，曹水金，等．面向多目标跟踪的密集行人群轨迹提取和运动语义感知［J］．交通运输系统工程与信息，2021，21（6）：42-54.
	YOU Feng， LIANG Jian-zhong， CAO Shui-jin，et al ．Dense pedestrian crowd trajectory extraction and motion semantic information perception based on multi-object tracking［J］．Journal of Transportation Systems Engineering and Information Technology，2021，21（6）：42-54.
5	FU T， HU W， MIRANDA-MORENO L，et al ．Investigating secondary pedestrian-vehicle interactions at non-signalized intersections using vision-based trajectory data［J］．Transportation Research Part C：Emerging Technologies，2019，105：222-240.
6	CHEN J， TIAN S， XU H，et al ．Architecture of vehicle trajectories extraction with roadside Lidar serving connected vehicles［J］．IEEE Access，2019，7：100406-100415.
7	辜志强，吉鑫钰，褚端峰，等．基于全局位置精度损失最小化的路侧多传感器目标关联匹配方法［J］．中国公路学报，2022，35（3）：286-294.
	GU Zhi-qiang， JI Xin-yu， CHU Duan-feng，et al ．A roadside multi-sensor target association matching method based on minimization of global position precision loss［J］．China Journal of Highway and Transport，2022，35（3）：286-294.
8	PANTRIGO J， HERNÁNDEZ J， SÁNCHEZ A ．Multiple and variable target visual tracking for video-surveillance applications［J］．Pattern Recognition Letters，2010，31（12）：1577-1590.
9	CHEN X， LI Z， YANG Y，et al ．High-resolution vehicle trajectory extraction and denoising from aerial videos［J］．IEEE Transactions on Intelligent Transportation Systems，2021，22（5）：3190-3202.
10	ZHANG J， XIAO W， COIFMAN B，et al ．Vehicle tracking and speed estimation from roadside Lidar［J］．IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2020，13：5597-5608.
11	ZANG S， DING M， SMITH D，et al ．The impact of adverse weather conditions on autonomous vehicles：how Rain，snow，fog，and hail affect the performance of a self-driving car［J］．IEEE Vehicular Technology Magazine，2019，14（2）：103-111.
12	SALOUS S， GAILLOT D， MOLINA J M，et al ．Inclusive radio communications for 5G and beyond：IRACON channel measurements and models［M］．Pittsburgh：Academic Press，2021：49-105.
13	JIANG W， HUANG Y， YANG J ．Automatic censoring CFAR detector based on ordered data difference for low-flying helicopter safety［J］．Sensors，2016，16（7）：1055.
14	LUDENO G， CATAPANO I， RENGA A，et al ．Assessment of a Micro-UAV system for microwave tomography radar imaging［J］．Remote Sensing of Environment，2018，212：90-102.
15	LIU H， TENG K，RAI L，et al ．A two‐step abnormal data analysis and processing method for millimetre‐wave radar in traffic flow detection applications［J］．IET Intelligent Transport Systems，2021，15（5）：671-682.
16	刘东波，沈莉潇，代磊磊，等．基于多目标雷达数据的单点交通信号控制方法［J］．吉林大学学报（工学版），2022，52（10）：2456-2465.
	LIU Dong-bo， SHEN Li-xiao， DAI Lei-lei，et al ．Traffic signal control method at isolated intersections based on multi-target radar data［J］．Journal of Jilin University （Engineering and Technology Edition），2022，52（10）：2456-2465.
17	LIU G， ZHOU M， WANG L，et al ．A blind spot detection and warning system based on millimeter wave radar for driver assistance［J］．Optik，2017，135：353-365.
18	SHI M， LING Q， YU Z，et al ．Association using modified global nearest neighbor in the presence of bias［C］∥Proceedings of the 32nd Chinese Control Conference，Xi’an：IEEE，2013：4688-4691.
19	SVENSSON L， SVENSSON D， GUERRIERO M，et al ．Set JPDA filter for multi target tracking［J］．IEEE Transactions on Signal Processing，2011，59（10）：4677-4691.
20	BLACKMAN S ．Multiple hypothesis tracking for multiple target tracking［J］．IEEE Aerospace and Electronic Systems Magazine，2004，19（1）：5-18.
21	HUANG C， WU B， NEVATIA R ．Robust object tracking by hierarchical association of detection responses［C］∥Proceedings of the 10th European Conference on Computer Vision（ECCV）．Marseille：Springer Berlin Heidelberg，2008：788-801.
22	YANG B， NEVATIA R ．Multi-target tracking by online learning a CRF model of appearance and motion patterns［J］．International Journal of Computer Vision，2014，107：203-217.
23	LEUNG V， HERBIN S ．Flexible tracklet association for complex scenarios using a Markov Logic Network［C］∥Proceedings of the 2011 IEEE International Conference on Computer Vision Workshops （ICCV Workshops）．Barcelona：IEEE，2011：1870-1875.
24	SHITRIT H B， BERCLAZ J， FLEURET F，et al ．Multi-commodity network flow for tracking multiple people［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，36（8）：1614-1627.
25	SUN J， WANG N， ZHANG Z ．Track segment association of maneuvering target based on expectation maximization［C］∥Proceeding of the 11th International Congress on Image and Signal Processing，Bio Medical Engineering and Informatics （CISP-BMEI）．Beijing：IEEE，2018：1-5.
26	SONG S， WU J， ZHANG S，et al ．Research on target tracking algorithm using millimeter-wave radar on curved road［J］．Mathematical Problems in Engineering，2020，2020：3749759/1-21.
27	SÁNCHEZ-ORO J， FERNÁNDEZ-LÓPEZ D， CABIDO R，et al ．Radar-based road-traffic monitoring in urban environments［J］．Digital Signal Processing，2013，23（1）：364-374.
28	李立，吴晓强，杨文臣，等．基于路侧毫米波雷达的群体车辆目标识别与跟踪［J］．吉林大学学报（工学版）．.
	LI Li， WU Xiao-qiang， YANG Wen-chen，et al ．Target recognition and tracking of group vehicles based on roadside millimeter-wave radar［J］．Journal of Jilin University （Engineering and Technology Edition）．.
29	WANG J， FU T， XUE J，et al ．Realtime wide-area vehicle trajectory tracking using millimeter-wave radar sensors and the open TJRD TS dataset［J］．International Journal of Transportation Science and Technology，2023，12（1）：273-290.
30	徐平亮，崔亚奇，熊伟，等．生成式中断航迹接续关联方法［J］．系统工程与电子技术，2022，44（5）：1543-1552.
	XU Ping-liang， CUI Ya-qi， XIONG Wei，et al ．Generative track segment association method［J］．Systems Engineering and Electronics．2022，44（5）：1543-1552.
31	LIU H， NA L， GUAN D，et al ．Data feature analysis of non-scanning multi target millimeter-wave radar in traffic flow detection applications［J］．Sensors，2018，18（9）：671-682.
32	GRANSTROM K， SVENSSON L， REUTER S，et al ．Likelihood-based data association for extended object tracking using sampling methods［J］．IEEE Transactions on Intelligent Vehicles，2017，3（1）：30-45.
33	HABTEMARIAM B， THARMARASA R， THAYAPARAN T，et al ．A multiple-detection joint probabilistic data association filter［J］．IEEE Journal of Selected Topics in Signal Processing，2013，7（3）：461-471.
34	CHAND A， VISWANATHAN P ．A constructive approach to cubic hermite fractal interpolation function and its constrained aspects［J］．BIT Numerical Mathematics，2013，53：841-865.
35	YUAN L， CHANG H， NEVATIA R ．Learning to associate：hybridboosted multi-target tracker for crowded scene［C］∥IEEE Conference on Computer Vision & Pattern Recognition．Miami：IEEE，2009：2953-2960
36	王彦平，王端阳，李洋，等．基于δ-GLMB自适应门限判定的多量测目标跟踪算法［J］．信号处理，2021，37（4）：518-527.
	WANG Yan-ping， WANG Duan-yang， LI Yang，et al ．An multi-detection target tracking algorithm based on δ-GLMB adaptive threshold determination［J］．Journal of Signal Processing，2021，37（4）：518-527.

测试场景	测试集总帧数	检测方向	车道数	轨迹真值数目	大车比例/%	非机动车比例/%	场景特点
A	1 230	全向	8	95	9.4	13.7	前500帧车辆密集，遮挡较多
B	1 135	全向	8	87	5.7	6.9	去向车辆较为分散，目标车头间距较大，几乎无遮挡情况发生；来向车辆数目适中，有部分遮挡
C	1 399	来向	4	31	0.0	35.5	目标逐渐接近雷达传感器，车辆数目适中，有较多等待红绿灯车辆
D	2 863	去向	4	94	5.3	14.9	目标逐渐远离雷达传感器，后1 400帧车辆密集，遮挡较多，有公交停靠站

场景	初步关联生成短轨迹段数量	初步关联阈值
A	738	0.9
B	587	0.9
C	253	0.9
D	867	0.9

试验场景	方法	真实轨迹数	跟踪结果	AOT/%	Frags	IDS
场景A	NNDA方法	95	164	64.2	18	1.70
场景A	本文方法	95	101	94.7	7	1.20
场景B	NNDA方法	87	152	62.1	16	1.80
场景B	本文方法	87	92	91.5	4	1.10
场景C	NNDA方法	31	67	45.1	11	2.16
场景C	本文方法	31	34	90.3	3	1.00
场景D	NNDA方法	94	145	67.0	19	1.50
场景D	本文方法	94	100	92.6	5	1.00

基于毫米波雷达点云的路口车辆轨迹跟踪方法

Vehicle Trajectory Tracking at Intersections Based on Millimeter Wave Radar Point Cloud

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 24

参考文献 36

相关文章 0

编辑推荐

Metrics

本文评价