基于改进CenterTrack的高速公路外场车辆跟踪方法研究

这是一篇关于车辆跟踪,联合检测跟踪算法,CenterTrack,重识别的论文, 主要内容为基于监控视频的车辆目标跟踪对于道路运行状态感知与异常事件检测具有重要的应用价值,一直以来都是智能交通领域的研究热点。但在高速公路外场的监控视频中,车辆目标存在遮挡频繁、多尺度、变尺度等问题,以及外场环境存在阴影干扰、恶劣天气、光照变化等不稳定因素,这给车辆目标跟踪带来了很大的挑战。CenterTrack是经典的联合检测跟踪模型,但尚存在跟踪精度不足和遮挡情况下易发生ID跳变的问题,因此,研究基于CenterTrack的高速公路外场场景下的车辆跟踪算法,提高其跟踪精度与速度,具有重要的理论和实际意义。论文围绕CenterTrack的特征提取网络和跟踪匹配策略,改进了CenterTrack的多输入特征融合方式,改进Res Net网络得到表示力更强的主干网络Res Net++,使模型能够更好的提取特征。同时为了解决跟踪时因为遮挡造成的ID跳变和跟踪漂移问题,提出了添加重识别分支和Centerness分支的改进方法,并设计了级联的目标匹配方法,提高了跟踪模型对遮挡目标的鲁棒性。论文主要工作和贡献如下:(1)针对CenterTrack跟踪精度不足的问题,改进其多输入特征融合方式,提出了级联的多输入特征融合方法,提高多输入信息的利用有效性;针对网络的通道不平衡问题,通过在输出分支处使用SE模块引入通道注意力机制,提升CenterTrack算法的检测精度。(2)针对CenterTrack算法的特征提取网络DLA计算量大、推理速度慢的问题,在Res Net网络的基础上,使用了深度可分离卷积和反转瓶颈的设计,并重新设计了Res Net的前四个卷积阶段中Block的比例关系。通过多种改进策略设计了特征提取能力更强的网络Res Net++,在提升跟踪精度的同时达到了实时的推理速度。(3)针对CenterTrack无法跟踪遮挡或暂时消失目标的问题,将车辆重识别引入跟踪算法,并与其他分支进行联合训练来提升算法对于遮挡目标的鲁棒性;添加Centerness分支估计模型输出的边界框的回归质量,减少误报检测框的出现。在跟踪匹配阶段,使用了重识别特征与IOU特征级联的匹配算法,提升车辆目标跟踪的准确率和连续性。综合上述改进,形成一种基于改进CenterTrack的车辆跟踪算法。在公开的车辆跟踪数据集KITTI和自建的高速公路车辆跟踪数据集上进行测试,实验结果表明与其他的多目标跟踪算法相比,论文提出的改进方法提升了车辆跟踪的准确率和速度,达到了较好的跟踪效果。

基于深度学习的城市道路车辆检测与跟踪研究

这是一篇关于目标检测,车辆跟踪,YOLOv5s,DeepSORT,轻量化的论文, 主要内容为对城市道路上的车辆检测和跟踪有利于提高城市智能化交通管理水平,在及时缓解交通压力,为城市管理者提供决策依据等方面都具有重要意义。然而现阶段基于深度学习的车辆检测与跟踪模型大部分局限于GPU中,权重文件较大,难以部署到移动终端。因此本文依据城市道路交通视频,从轻量型网络出发,对车辆检测算法和跟踪算法做了相关研究。主要工作内容如下:(1)构建车辆检测和车辆跟踪数据集。首先,采集城市道路上的交通视频,对视频进行抽帧提取图片,利用Labelimg对图片进行标注,建立具有3443张图片,共计24932个车辆标注框的检测数据集;然后,选用Ve Ri-776数据集作为跟踪算法的车辆重识别数据集,用于提升算法对于车辆跟踪的适用性;接着,选取三段不同场景下的视频共计5462帧,利用Darklable软件制作车辆跟踪评估数据集,用于评估跟踪算法。(2)采用基于改进YOLOv5s算法对车辆进行检测。首先,采用轻量型网络Shuffle Net V2代替CSP Darknet53作为主干提取网络,并对Shuffle Net V2的激活函数进行优化;然后,针对轻量型网络带来的精度下降问题,在输出端添加具有全局优化功能的GAM注意力机制;接着,对GAM放置的位置进行消融实验,实验结果表明当把GAM注意力机制放置在输出层第二层的时候,检测效果最好。改进后算法比原算法在m AP＿0.5和m AP＿0.5:0.95指标上分别提升了1.2%和1.5%,权重文件减少了21%。(3)采用基于改进Deep SORT算法对车辆进行跟踪。首先,将深度特征提取网络用轻量型网络代替;然后,针对原Deep SORT算法对于车辆特征不敏感的问题,利用Ve Ri-776车辆数据集重新训练网络,提升算法对于车辆目标跟踪的适用性;接着,针对原算法ID Switch频繁的问题,提出采用检测框与目标预测框的IOU度量替代马氏距离度量;最后,通过Mot challenge文件进行跟踪评价指标的获取。结果表明改进后的Deep SORT算法相较于改进前的算法在MOTA指标提升了2.3%,权重文件减少了95%,ID Switch次数显著减少。(4)在车辆检测和车辆跟踪的基础上对车流量进行统计。首先,采用虚拟检测线计数方式对车辆进行计数,通过添加多条检测线的方式,实现对于多方向车流量统计;然后,添加车辆速度检测模块,以实现对车速的监测;最后,基于Py Qt开发视频车流量统计平台,选取三种不同环境下的视频进行改进前后算法车流量统计对比实验,实验结果表明改进后算法在车流量统计精度和速度方面要优于原始算法。综上所述,本文围绕城市道路场景下对车辆检测和跟踪进行研究,实验表明所提出的算法在满足准确率的前提下,大幅减少了模型权重文件,便于将其部署到移动终端设备中,同时对交通的智能化管理具有一定的参考价值。

基于深度学习的城市道路车辆检测与跟踪研究

这是一篇关于目标检测,车辆跟踪,YOLOv5s,DeepSORT,轻量化的论文, 主要内容为对城市道路上的车辆检测和跟踪有利于提高城市智能化交通管理水平,在及时缓解交通压力,为城市管理者提供决策依据等方面都具有重要意义。然而现阶段基于深度学习的车辆检测与跟踪模型大部分局限于GPU中,权重文件较大,难以部署到移动终端。因此本文依据城市道路交通视频,从轻量型网络出发,对车辆检测算法和跟踪算法做了相关研究。主要工作内容如下:(1)构建车辆检测和车辆跟踪数据集。首先,采集城市道路上的交通视频,对视频进行抽帧提取图片,利用Labelimg对图片进行标注,建立具有3443张图片,共计24932个车辆标注框的检测数据集;然后,选用Ve Ri-776数据集作为跟踪算法的车辆重识别数据集,用于提升算法对于车辆跟踪的适用性;接着,选取三段不同场景下的视频共计5462帧,利用Darklable软件制作车辆跟踪评估数据集,用于评估跟踪算法。(2)采用基于改进YOLOv5s算法对车辆进行检测。首先,采用轻量型网络Shuffle Net V2代替CSP Darknet53作为主干提取网络,并对Shuffle Net V2的激活函数进行优化;然后,针对轻量型网络带来的精度下降问题,在输出端添加具有全局优化功能的GAM注意力机制;接着,对GAM放置的位置进行消融实验,实验结果表明当把GAM注意力机制放置在输出层第二层的时候,检测效果最好。改进后算法比原算法在m AP＿0.5和m AP＿0.5:0.95指标上分别提升了1.2%和1.5%,权重文件减少了21%。(3)采用基于改进Deep SORT算法对车辆进行跟踪。首先,将深度特征提取网络用轻量型网络代替;然后,针对原Deep SORT算法对于车辆特征不敏感的问题,利用Ve Ri-776车辆数据集重新训练网络,提升算法对于车辆目标跟踪的适用性;接着,针对原算法ID Switch频繁的问题,提出采用检测框与目标预测框的IOU度量替代马氏距离度量;最后,通过Mot challenge文件进行跟踪评价指标的获取。结果表明改进后的Deep SORT算法相较于改进前的算法在MOTA指标提升了2.3%,权重文件减少了95%,ID Switch次数显著减少。(4)在车辆检测和车辆跟踪的基础上对车流量进行统计。首先,采用虚拟检测线计数方式对车辆进行计数,通过添加多条检测线的方式,实现对于多方向车流量统计;然后,添加车辆速度检测模块,以实现对车速的监测;最后,基于Py Qt开发视频车流量统计平台,选取三种不同环境下的视频进行改进前后算法车流量统计对比实验,实验结果表明改进后算法在车流量统计精度和速度方面要优于原始算法。综上所述,本文围绕城市道路场景下对车辆检测和跟踪进行研究,实验表明所提出的算法在满足准确率的前提下,大幅减少了模型权重文件,便于将其部署到移动终端设备中,同时对交通的智能化管理具有一定的参考价值。

基于远近景视频图像融合的车辆检测与跟踪方法

这是一篇关于车路协同,图像处理,视频拼接,车辆检测,车辆跟踪的论文, 主要内容为车辆是路侧监控系统中重要的目标。随着车路协同技术的发展,对车辆感知提出了更高的要求。目前,摄像头作为路侧感知系统的重要组成,广泛应用于驾驶行为监测、车辆轨迹跟踪与流量监控等方面。然而监控场景往往存在盲区,其根本原因在于单个摄像头捕捉画面有限,导致道路车辆信息获取不够全面。针对该问题,若使用不同视角摄像头分别对道路车辆拍摄展示,此时车辆表观特征与尺度信息的变化对检测跟踪的可靠性提出了更高的要求;而利用广角镜头则成本较高。因此,将多个视域进行拼接融合,同时监测车辆状态,对于保证道路服务水平与通行效率具有重要的意义。为扩大路侧摄像头的有效视域,本文将视频拼接技术应用于路侧感知系统,开展基于远近景视频图像融合的车辆检测与跟踪研究。首先,构建了远近景视频拼接模型。针对全局单应矩阵求解不准确问题,将多控制帧特征点与随机抽样一致性(RANSAC)算法结合,有效分离出前景与背景特征点,根据背景特征点匹配关系求解相对位置固定摄像头下的单应变换。由于摄像头间存在曝光差异,基于匹配的特征点对,对RGB各通道像素差异进行线性矫正,使得远近景视频曝光相似。在构建能量图以搜寻最优拼缝时,根据前置曝光差异可靠程度对重叠区域强度差异与梯度差异进行权重分配。最后以最优拼缝处的色彩饱和度差异为基础,对融合区域进行优化以解决重叠区域内前景移动产生的重影问题。经过上述优化手段,本文提出的视频拼接方法可以有效解决前景截断与重影问题。其次,构建了基于YOLOv4网络的车辆检测优化模型。在网络结构方面,针对骨干特征提取网络Efficient Net卷积层中dropout影响后续多尺度特征融合的问题,本文提出的网络对Mobile-Block主分支的dropout操作去除;同时在Neck部分引入CAM通道注意力模块,有效衡量经上采样的深层特征与浅层特征融合时各通道的重要程度。将本文检测模型与SSD、YOLOv3、v4、v5、YOLOX等主流检测网络在BDD100K数据集中不同场景进行测试对比,实验结果显示本文检测模型在car类别上具有较好的检测效果,同时随着前置骨干特征提取网络宽度与深度的增加,模型在bus与truck类别的AP50指标分别由35.7%和19.3%提升至44.1%和33.6%,表明了本文模型具有提高小样本检测精度的潜力。最后,构建了基于Deep SORT算法的多目标车辆跟踪优化模型。保持Deep SORT跟踪框架的同时,在网络结构部分,本文采用提出的Efficient Net-B5-YOLOv4检测器提升对道路车辆的检测能力。针对原Deep SORT跟踪效率较低与遮挡场景下的车辆ID跳变问题,引入Ghost Net不仅以较小复杂度提升网络特征冗余效果,同时以低维表观特征向量的形式加速级联匹配过程。在前置检测器相同的条件下,将本文提出的模型与原Deep SORT算法在UADETRAC数据集中不同场景进行测试对比,实验结果显示本文跟踪模型在平均跟踪准确度、跟踪精度与跟踪速度上分别提升了0.5%、4.2%与2.22FPS,同时车辆ID跳变频次减少20次,表明本文跟踪模型在一定程度上可以有效缓解因遮挡与复杂环境引起的车辆跟踪丢失问题。

基于深度学习的城市道路车辆检测与跟踪研究

这是一篇关于目标检测,车辆跟踪,YOLOv5s,DeepSORT,轻量化的论文, 主要内容为对城市道路上的车辆检测和跟踪有利于提高城市智能化交通管理水平,在及时缓解交通压力,为城市管理者提供决策依据等方面都具有重要意义。然而现阶段基于深度学习的车辆检测与跟踪模型大部分局限于GPU中,权重文件较大,难以部署到移动终端。因此本文依据城市道路交通视频,从轻量型网络出发,对车辆检测算法和跟踪算法做了相关研究。主要工作内容如下:(1)构建车辆检测和车辆跟踪数据集。首先,采集城市道路上的交通视频,对视频进行抽帧提取图片,利用Labelimg对图片进行标注,建立具有3443张图片,共计24932个车辆标注框的检测数据集;然后,选用Ve Ri-776数据集作为跟踪算法的车辆重识别数据集,用于提升算法对于车辆跟踪的适用性;接着,选取三段不同场景下的视频共计5462帧,利用Darklable软件制作车辆跟踪评估数据集,用于评估跟踪算法。(2)采用基于改进YOLOv5s算法对车辆进行检测。首先,采用轻量型网络Shuffle Net V2代替CSP Darknet53作为主干提取网络,并对Shuffle Net V2的激活函数进行优化;然后,针对轻量型网络带来的精度下降问题,在输出端添加具有全局优化功能的GAM注意力机制;接着,对GAM放置的位置进行消融实验,实验结果表明当把GAM注意力机制放置在输出层第二层的时候,检测效果最好。改进后算法比原算法在m AP＿0.5和m AP＿0.5:0.95指标上分别提升了1.2%和1.5%,权重文件减少了21%。(3)采用基于改进Deep SORT算法对车辆进行跟踪。首先,将深度特征提取网络用轻量型网络代替;然后,针对原Deep SORT算法对于车辆特征不敏感的问题,利用Ve Ri-776车辆数据集重新训练网络,提升算法对于车辆目标跟踪的适用性;接着,针对原算法ID Switch频繁的问题,提出采用检测框与目标预测框的IOU度量替代马氏距离度量;最后,通过Mot challenge文件进行跟踪评价指标的获取。结果表明改进后的Deep SORT算法相较于改进前的算法在MOTA指标提升了2.3%,权重文件减少了95%,ID Switch次数显著减少。(4)在车辆检测和车辆跟踪的基础上对车流量进行统计。首先,采用虚拟检测线计数方式对车辆进行计数,通过添加多条检测线的方式,实现对于多方向车流量统计;然后,添加车辆速度检测模块,以实现对车速的监测;最后,基于Py Qt开发视频车流量统计平台,选取三种不同环境下的视频进行改进前后算法车流量统计对比实验,实验结果表明改进后算法在车流量统计精度和速度方面要优于原始算法。综上所述,本文围绕城市道路场景下对车辆检测和跟踪进行研究,实验表明所提出的算法在满足准确率的前提下,大幅减少了模型权重文件,便于将其部署到移动终端设备中,同时对交通的智能化管理具有一定的参考价值。

基于DeepSORT算法的多目标车辆跟踪技术研究

这是一篇关于YOLOv5s,DeepSORT,深度学习,卡尔曼滤波,车辆跟踪的论文, 主要内容为我国道路交通的蓬勃发展直接导致汽车保有量的迅速增长。为提高道路交通的吞吐效率,需要对道路监控中的车辆进行检测与跟踪,以实时监控交通运行状况。然而,在实际场景中,检测和跟踪会受到客观环境因素以及终端设备部署问题的制约。因此,本文旨在针对上述问题进行研究,具体工作内容如下:首先,对深度学习技术进行介绍,详细阐述了卷积神经网络的理论要点,包括卷积层,池化层,全连接层等常见网络层以及相关网络结构。其次,对比多种目标检测算法,选取以YOLO算法为代表的一阶段目标检测算法作为多目标检测器。为改善模型参数量较大以及检测速度不佳的问题,采用ECA注意力机制改进的Mobile Net V3网络作为其骨干网络,同时将原有PANet网络替换为Bi FPN网络,增强不同特征层之间的特征图融合效果,并采用车辆的混合数据集进行训练和评估。实验结果显示,改进的YOLOv5算法的参数量减少了54%,而检测精度仅受轻微影响,验证了改进的检测算法相较于原版算法在边缘设备部署和实时性检测需求方面的优势。针对DeepSORT算法中重识别网络模型体积较大的问题,本文引入轻量级网络Shuffle Net V2。通过在Veri-Wild数据集的部分子集中进行评估,发现轻量化的车辆外观特征提取网络在模型体积缩小至原来的6%的同时,检测精度并无明显下降。实验证明,在保证精度的前提下,轻量级网络能够有效降低模型对于内存的占用,可作为重识别任务中替代原有网络结构的骨干网络。此外,针对传统的IOU方法(Intersection over Union)在计算检测框和轨迹框的重叠面积时存在的限制,即当两者之间没有重叠时,IOU恒等于0,无法通过交并比量化两者之间的损失。为解决上述问题,本文采用DIOU(Distance Intersection over Union)距离度量替换原有IOU距离度量,以提高目标跟踪的准确性和稳定性,有效降低ID交换的次数。综上所述,改进的YOLOv5在车辆目标检测的混合数据集中检测速度达到了77FPS;检测精度相较于YOLOv5s,m AP@0.5提升了约0.12%,m AP@0.5:0.95提升了约0.34%。在车辆多目标跟踪中,通过采用轻量化的Shuffle Net V2以及更加精确的DIOU距离度量计算,使得ReID网络的参数量从45M减少为2.5M,检测准确度提升了约0.2%。在混合数据集中进行验证,相较于原版DeepSORT算法,改进后的算法几乎保持了相同的检测准确度,同时检测速度提升了7FPS。与SORT算法相比,ID交换次数减少了近65次。因此,改进后的DeepSORT算法可以更好地满足道路中多车辆跟踪任务的需求。

基于远近景视频图像融合的车辆检测与跟踪方法

这是一篇关于车路协同,图像处理,视频拼接,车辆检测,车辆跟踪的论文, 主要内容为车辆是路侧监控系统中重要的目标。随着车路协同技术的发展,对车辆感知提出了更高的要求。目前,摄像头作为路侧感知系统的重要组成,广泛应用于驾驶行为监测、车辆轨迹跟踪与流量监控等方面。然而监控场景往往存在盲区,其根本原因在于单个摄像头捕捉画面有限,导致道路车辆信息获取不够全面。针对该问题,若使用不同视角摄像头分别对道路车辆拍摄展示,此时车辆表观特征与尺度信息的变化对检测跟踪的可靠性提出了更高的要求;而利用广角镜头则成本较高。因此,将多个视域进行拼接融合,同时监测车辆状态,对于保证道路服务水平与通行效率具有重要的意义。为扩大路侧摄像头的有效视域,本文将视频拼接技术应用于路侧感知系统,开展基于远近景视频图像融合的车辆检测与跟踪研究。首先,构建了远近景视频拼接模型。针对全局单应矩阵求解不准确问题,将多控制帧特征点与随机抽样一致性(RANSAC)算法结合,有效分离出前景与背景特征点,根据背景特征点匹配关系求解相对位置固定摄像头下的单应变换。由于摄像头间存在曝光差异,基于匹配的特征点对,对RGB各通道像素差异进行线性矫正,使得远近景视频曝光相似。在构建能量图以搜寻最优拼缝时,根据前置曝光差异可靠程度对重叠区域强度差异与梯度差异进行权重分配。最后以最优拼缝处的色彩饱和度差异为基础,对融合区域进行优化以解决重叠区域内前景移动产生的重影问题。经过上述优化手段,本文提出的视频拼接方法可以有效解决前景截断与重影问题。其次,构建了基于YOLOv4网络的车辆检测优化模型。在网络结构方面,针对骨干特征提取网络Efficient Net卷积层中dropout影响后续多尺度特征融合的问题,本文提出的网络对Mobile-Block主分支的dropout操作去除;同时在Neck部分引入CAM通道注意力模块,有效衡量经上采样的深层特征与浅层特征融合时各通道的重要程度。将本文检测模型与SSD、YOLOv3、v4、v5、YOLOX等主流检测网络在BDD100K数据集中不同场景进行测试对比,实验结果显示本文检测模型在car类别上具有较好的检测效果,同时随着前置骨干特征提取网络宽度与深度的增加,模型在bus与truck类别的AP50指标分别由35.7%和19.3%提升至44.1%和33.6%,表明了本文模型具有提高小样本检测精度的潜力。最后,构建了基于Deep SORT算法的多目标车辆跟踪优化模型。保持Deep SORT跟踪框架的同时,在网络结构部分,本文采用提出的Efficient Net-B5-YOLOv4检测器提升对道路车辆的检测能力。针对原Deep SORT跟踪效率较低与遮挡场景下的车辆ID跳变问题,引入Ghost Net不仅以较小复杂度提升网络特征冗余效果,同时以低维表观特征向量的形式加速级联匹配过程。在前置检测器相同的条件下,将本文提出的模型与原Deep SORT算法在UADETRAC数据集中不同场景进行测试对比,实验结果显示本文跟踪模型在平均跟踪准确度、跟踪精度与跟踪速度上分别提升了0.5%、4.2%与2.22FPS,同时车辆ID跳变频次减少20次,表明本文跟踪模型在一定程度上可以有效缓解因遮挡与复杂环境引起的车辆跟踪丢失问题。