基于视频目标检测和跟踪的一般流程是:通过目标检测,找到目标;对目标特征进行描述,初步估计目标的运动矢量;根据运动状态,进入目标跟踪,对传感器的姿态,比如水平方位、垂直方位和焦距等进行调整;跟踪到目标后,对目标特征进行更新,并对目标的运动进行预测后,进入下一轮的跟踪过程。目标跟踪检测与跟踪涉及到的技术细节很多。慧视光电开发的高性能目标跟踪图像跟踪板在自研目标跟踪算法的作用下,能够实现高精度低延迟的视频目标锁定跟踪。智能化的图像处理板还可以实现自动化的数据分析,实现降本增效。广西目标跟踪功能
多目标跟踪是指在连续的图像中,通过目标检测算法识别出每一帧中的目标,并在时间上跟踪它们的位置和状态。但目标会不断发生尺度、形变、遮挡等变化,而且还会有目标出现和消失的情况,再加上视频采集端的相机所处环境可能受到外界影响导致抖动的情况(例如无人机高空检测),就会给多目标跟踪造成一定的困难。由于我们不能控制目标,所以只能从视频采集端维护跟踪的稳定性。因此,成都慧视针对于多目标检测跟踪抖动丢失的优化方法是:1.改进目标检测,使用更加鲁棒的目标检测算法。2.增强特征描述,利用深度学习提取更高级别的语义特征,这些特征对于小范围内的视角变化具有更好的不变性3.改进运动模型,在算法中加入对摄像头运动的估计,通过补偿摄像头运动来减小目标真实运动与预测之间的差距。4.数据关联策略,设计更灵活的数据关联算法,允许更大的距离阈值来匹配候选目标。广东光纤数据目标跟踪慧视微型双光吊舱非常适用于无人机领域。
目前,采用图像识别技术来实现无人机规避其他障碍物是一个有效的方法。通过在无人机上植入图像识别模块,这个模块由图像处理板和相机组合而成,通过算法的赋能,就能针对不同物体实现快速AI识别,然后实现规避。而在图像处理板的选择上,成都慧视开发的Viztra-LE026图像处理板就十分合适。这块板卡采用了RV1126开发设计而成,外形呈圆形,体积小巧,尺寸为Ф38mm*12mm,重量只有12g,用在无人机上不会过多占用空间。此外,该板卡功耗≤4W,也不会增加无人机的续航负担。
这种智慧化的建设就是采用图像处理。在无人机内部安装图像处理板,这些图像处理板和相机、算法的有机结合就形成了无人机的智慧眼,有了这个智慧眼,无人机就能够对视野范围内的物体进行AI识别,从而自动完成避障、巡检等操作。成都慧视开发的小型化图像处理板Viztra-LE026就是专门为无人机设计的一款“智慧眼”处理器。这块板卡采用了RV1126开发而成,具备2.0TOPS的算力,外形呈圆形化设计,整体外观大小为Ф38mm*12mm,重量只有12g,功耗不高于4W,用在无人机领域具有功耗低、尺寸小的优势,不会过多占用和消耗无人机的内部空间和续航。RK3588处理板,智慧视觉应用开发板。
在目标跟踪领域,场景信息与目标状态的融合十分重要,首先,场景信息包含了丰富的环境上下文信息,对场景信息进行分析及充分利用,能够有效地获取场景的先验知识,降低复杂的背景环境以及场景中与目标相似的物体的干扰;同样地,对目标的准确描述有助于提升检测与跟踪算法的准确性与鲁棒性.总之,尝试研究结合背景信息和前景目标信息的分析方法,融合场景信息与目标状态,将有助于提高算法的实用性能。慧视光电开发的图像处理板,具备高性能、高精度的特点,能够进行精确的目标跟踪。RK3588图像处理板是我司自主研发的目标跟踪板,该板卡采用国产高性能CPU,搭载自研目标跟踪及跟踪算法。贵州目标跟踪工程
如何实现目标识别及跟踪?广西目标跟踪功能
激光反无设备的摄像头中加装了高性能的AI图像处理板,将设备部署在预定区域,AI图像处理板在算法的加持下,实现对禁飞区域空中目标的24小时不间断AI巡逻,能够快速发现、锁定、处置目标,在数秒内利用高能激光毁伤无人机目标。要想到达更加精细的识别目的,板卡的性能很关键,同时视频数据的质量同样重要。高帧频的相机能够捕捉更多画面细节,这样高性能图像处理板在进行AI识别处理时,就能够获取更多信息,识别的精度就会提升。像成都慧视开发的高性能高帧频图像处理板就考虑到了这一点,通过RK3588和FPGA接口的深度定制,轻松打破高帧频视频的输入输出,让板卡实现更精细的数据处理。广西目标跟踪功能