本 科 毕 业 论 文（设 计）

论文题目：视频序列中运动目标跟踪方法的研究

毕业设计（论文）原创性声明和使用授权说明

原创性声明

本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。

作 者 签 名：　　 　 　　日　 期：　　 　 　　

指导教师签名：　　 　 　　 日　　期：　　 　 　　

使用授权说明

本人完全了解 大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。

作者签名：　　 　 　　 日　 期：　　 　 　　

学位论文原创性声明

本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。

作者签名： 日期： 年 月 日

学位论文版权使用授权书

本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权　　 　 　大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

涉密论文按学校规定处理。

作者签名： 日期： 年 月 日

导师签名： 日期： 年 月 日

注 意 事 项

1.设计（论文）的内容包括：

1）封面（按教务处制定的标准封面格式制作）

2）原创性声明

3）中文摘要（300字左右）、关键词

4）外文摘要、关键词

5）目次页（附件不统一编入）

6）论文主体部分：引言（或绪论）、正文、结论

7）参考文献

8）致谢

9）附录（对论文支持必要时）

2.论文字数要求：理工类设计（论文）正文字数不少于1万字（不包括图纸、程序清单等），文科类论文正文字数不少于1.2万字。

3.附件包括：任务书、开题报告、外文译文、译文原文（复印件）。

4.文字、图表要求：

1）文字通顺，语言流畅，书写字迹工整，打印字体及大小符合要求，无错别字，不准请他人代写

2）工程设计类题目的图纸，要求部分用尺规绘制，部分用计算机绘制，所有图纸应符合国家技术标准规范。图表整洁，布局合理，文字注释必须使用工程字书写，不准用徒手画

3）毕业论文须用A4单面打印，论文50页以上的双面打印

4）图表应绘制于无格子的页面上

5）软件工程类课题应有程序清单，并提供电子文档

5.装订顺序

1）设计（论文）

2）附件：按照任务书、开题报告、外文译文、译文原文（复印件）次序装订

视频序列中运动目标跟踪方法的研究

摘要

视频序列中运动目标检测与跟踪是实现视频监控系统的关键技术之一。实际视频监控系统中的场景往往是错综复杂、变化无常的，实现具有鲁棒性、准确性和实时性的运动目标检测和跟踪是当前智能视频监控技术努力的方向。本文研究了静态场景下运动目标跟踪的相关算法，给出了运动目标跟踪的实现方案，由于Lucas Kanade光流跟踪算法对目标仅仅跟踪其质心，存在跟踪目标容易丢失且鲁棒性不高的缺点；最小绝对差算法企图搜索目标模板、计算量大、实时性差；针对这两种算法在目标跟踪方面的不足，对其进行了相应的改进和完善。通过Lucas Kanade光流跟踪算法预测目标质心位置、并设定目标搜索区域减小最小绝对差算法计算量；将模板匹配定位之后更正的目标质心做为下一帧Lucas Kanade光流跟踪算法跟踪的特征点，可以减小单一光流法预测目标质心带来的误差，实现可靠的跟踪。

关键词：运动目标跟踪；Lucas Kanade光流法；模板匹配

Video sequence of the study of the method of moving object tracking

Abstract In the video sequencemoving object detection and tracking is one of the key techniques which implements intelligent video surveillance system(IVSS). The real video surveillance system applied environment is usually complex, full of variety. The realization of moving object detection and tracking with veracity, real-time performanceand robustness is the direction for current IVSS study.This paper studied under static scene tracking algorithms movement are given, and the implementation scheme of moving object tracking Kanade light flow, because Lucas to target tracking algorithm only tracking its existing track the target centroid, easy to lose and robustness is not high weaknesses; Minimum absolute difference algorithm map search target template, large amount of calculation, real-time poor; In view of these two algorithm in target tracking deficiency, analyses the corresponding improvement and perfection. By Lucas Kanade light flow forecast target centroid position tracking algorithm, and set a target of reducing the search area computation minimum absolute difference algorithm; Will the template matching after the target centroid position correction as the next frame Lucas Kanade light streaming tracking algorithm tracking feature points can reduce a single light flow method for forecasting the errors caused by target centroid, achieve reliable tracking.

Key words Sports target tracking;Lucas Kanade light flow method;Background model

1．引言

1.1 研究背景和意义

随着计算机技术、通信技术、图像处理技术的不断发展，目标检测与跟踪技术在移动机器人、战车与坦克、飞机、导弹、舰船等军事领域和航空航天、科学探测、天文观测以及视频监控等民用领域具有越来越广泛的应用，也称为自动控制、信号与信息处理、计算机视觉和模式事变等领域的研究热点。

视频监控系统是公共安全技术防范系统的重要组成部分，它被广泛应用于国防、国家安全、治安等多个方面，主要涉及军工、公安、交通、金融、电力、电信、供水、供气等重要部门。由于视频图像监控具有很强的直观性、实时性和可逆性，使得它在解决经营纠纷、预防和制止犯罪、处理治安和刑事案件、为公安侦察破案提供线索等方面有着其他防范设施难以发挥的作用。

目前，基于视频序列的目标检测与跟踪技术在国内外各个领域和方面均得到了十分广泛的应用。在军事方面，军用卫星、战区导弹防御、侦察机、导弹制导、火控系统及小型自寻的导引头等军事武器均广泛应用了图像目标的识别与跟踪技术，大大提高武器系统的运动攻击性能及作战指标。美国空军“幼畜”导弹是最著名的一种电视制导导弹，由于目标的识别与跟踪技术的应用，该导弹可做到自动发现并锁定目标，并对目标实施摧毁，大大提高了作战效能；武装直升机和现代坦克战车队也都借助到高性能光电稳定瞄准具等先进光电设备，如高清晰度前视红外传感器、高分辨率和高倍率的CCD传感器等光电设备，结合目标的识别与跟踪技术大大提高了其再战场中的生存能力、提高有效打击力、增加全天候作战效能。

在民用方面，图像目标的识别与跟踪在科学探测、航空和航天对地观察、摄影和地形测绘上同样发挥着十分重要的作用。随着科学的发展和生活水平的提高，一些高档的手持、肩扛拍照和摄像系统也广泛地应用了人脸识别与跟踪技术，提高了系统的成像质量。运动目标的识别与跟踪在智能交通、身份识别等领域也得到了十分广泛的应用，创造了很好的社会价值。

因此，目前世界各国政府和学者，密切关注新一代的监控技术——智能视频监控技术。它同以往的监控技术有着本质的区别，其主要特征是采用计算机视觉的方法，在几乎不需要人为干预的情况下，赋予计算机类似于人的理解动态场景的视觉能力，通过对视频序列中运动物体的检测与跟踪以及对运动行为与语义概念之间关系的表达与分析，形成对场景中运动物体行为及其相互关系的高层次语义上的解释，使计算机知道什么时候，在什么场景中，是什么人在做什么，并用自然语言来描述所发生的一切。更形象地说，智能视频监控系统[1]能够看，看被监控场景中目标物体的行为；能够想，理解目标物体的行为以为着什么；能够说，把想的结果用自然语言的形式表达出来。因此只能视频监控系统具有看、思考和表达的能力。目前，智能视频监控系统取代了监控任务中人的大部分工作，是新一代的具有高度智能的监控技术[2]。

1.2 国内外研究现状

国外对基于视频的目标检测与跟踪的理论研究及应用研究起步较早，尤其在美国、英国等国家已经开展了大量相关项目的研究，并取得了一定的成果。现举例如下：

1997年美国国防高级研究项目署(Defense Advanced Research Projects Agency)设立了以卡内基梅隆大学(Carnegie Mellon University)为首、麻省理工学院(Massachusetts Institute of Technology)等高校参与的视觉监控重大项目VSAM(Visual Surveillance and Monitoring)[3]，VSAM的目标是为未来城市和战场监控应用开发的一种自动视频理解技术，用于实现未来战争中人力监控费用昂贵、非常危险或者人力无法实现等场合下的监控。

美国的麻省理工学院(Massachusetts Institute of Technology)在智能视觉监控方面也进行了深入的研究，其开发的监控系统[4]己成功实现了对行人和车辆的检测与跟踪。

英国的雷丁大学(University of Reading)己开展了对车辆和行人的跟踪及其交互作用识别的相关研究[5,6]。

美国的马里兰大学(University of Maryland)开发了W4(What，Where，When，Who)实时监控系统[7,8,9]，该系统不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，可以检测和跟踪室外环境中的人，同时可以检测人是否携带物体等简单行为，并对他们之间的简单交互进行监控。

IBM与Microsoft等公司也正逐步将基于视觉的手势识别接口应用于商业领域中[6]；

在我国，这方面的研究起步较晚。目前，在国内的相关研究机构中，中科院自动化研究所下属的模式识别国家重点实验室成立的视觉监控研究小组处于该领域的领先地位。该实验室在交通场景的视觉监控、人的运动视觉监控和行为模式识别等方面作了深入的研究，并取得了一定的成果[10,11]。模式识别实验室己经开始与英国雷丁大学就视觉监控项目开展了合作研究，并得到了英国皇家协会的支持；与法国波尔多第三大学EGID研究所在交通视觉监控等方面也展开了一系列的合作。除此之外，国内还有一些高校，如上海交通大学航空航天信息与控制研究所，华中科技大学图像识别与人工智能研究所, 西安电子科技大学电子工程学院模式识别与智能控制研究所，桂林电子科技大学图像所等研究机构，都对该领域进行了相关的研究。

1.3 运动目标及运动目标跟踪的概述

运动目标是日常生活中常见的，如活动的动物、行驶的运载工具等。在现实生活中，尽管人类的视觉既能看见运动的物体又能看见静止的物体，但是在许多场合，比如气象分析中的云图、安全监视中的人或动物、交通流量的控制等，大量有意义的视觉信息都包含在这些运动之中，人们往往只对运动的物体或目标感兴趣。因此，研究运动目标的检测问题，有着很大的现实意义和应用价值。

目标跟踪一直是计算机视觉领域的一个经典问题，其基本任务可简述为在视频序列中对感兴趣的目标或对象的位置、速度等运动特征进行有效的确定或估计。目前，目标跟踪技术已经被广泛应用于众多生活和科研领域中。例如在视频编码、智能交通、视频监控等应用中，目标跟踪技术都起着非常重要的作用。

对于目标跟踪算法，目前没有较为明确的分类方法。目前，几种性能较好、较受关注的跟踪算法如下:

1）粒子滤波（Particle Filter）即蒙特卡罗（Sequential Monte Carlo）滤波在计算机视觉领域中的应用研究，它正在受到国内外的广泛关注[12]。它的基本思想是用随机样本来描述概率分布，这些样本称为粒子，在测量的基础上通过调节各粒子权值的大小和样本的位置来近似实际概率分布，以样本的均值作为系统的估计值。这种方法可以用于任意非线性、非高斯随机系统的状态估计，克服了卡尔曼滤波的缺点。然而由于该算法的复杂性，降低了目标跟踪的实时性。诸如粒子退化、实时性差等问题需要进一步解决[13,14]。

2)卡尔曼滤波[15,16]在运动估计和预测中的运用较为常见。可将已知的目标运动规律作为跟踪算法建模的前提条件，对目标整体运动可用仿射模型来描述。如果已知目标的运动轨迹是光滑的，或者目标的运动速度或加速度是恒定的，而且假设图像噪声是高斯噪声，卡尔曼滤波器便可以用来预测和估计目标下一帧的位置，完成对目标的跟踪。如果目标的运动不可视为线性的，可以使用扩展卡尔曼滤波器跟踪目标。

3）基于边缘轮廓的跟踪。边缘是指周围像素有灰度阶跃变化的像素集合或强度值突然变化的像素点集合，边缘对运动很敏感，对灰度的变化不敏感。Blake等用自适应边缘模型，而Curwen等用Snake算法[17]，都实现了对非刚性物体运动轮廓的跟踪。

4)光流（optical flow）的概念是Gibson于1950年首先提出的。所谓光流是指图像中模式运动的速度。1981年，Horn等人在相邻图象间的时间间隔很小，并且图象灰度变化也很小的前提下，推导出灰度图象光流场计算的基本等式，这是经典光流方法[18,19]。光流法用于目标跟踪常用的算法有：检测和跟踪特征点[20]、跟踪好的特征点[21]、金字塔图像的Lucas Kanade特征点跟踪算法[22]。在这三种光流跟踪方法中，跟踪性能最优的是金字塔图像的Lucas Kanade特征点跟踪算法，本文就是采用此方法进行目标跟踪，并对其进行改进。

5）基于模板的目标建模方法直接采用目标图像的像素集合对目标进行描述，已被广泛用于基于模板匹配的跟踪算法中[23-24]。该算法实质是在图像中找到一块区域，使这块区域与模板之间对应像素灰度差的绝对值之和为最小。算法需在整幅图像上搜索出与原模板最匹配的区域，因此耗时较大，本文将其和光流法结合起来用于目标跟踪，提高算法实时性和鲁棒性。

6）Mean Shift算法是一种概率密度梯度函数的估计方法。1995年Yizong Cheng发表的一篇重要文献[25]将其引入计算机视觉领域后，渐渐引起人们的兴趣。国内最近几年才展开该算法研究，它在跟踪领域中的应用是目前研究的热点。该算法采用核函数直方图建模，对边缘遮挡、目标旋转、变化以及背景运动都不敏感；运算速度快，实时性好；但是，该算法也存在一定的缺点。比如:运动目标的颜色相同或者背景中存在大片的与目标颜色相同的区域，如果目标产生重叠，则在目标重新分开后将不能确定原来目标的编号。

1.4运动目标跟踪研究的难点

目前，运动目标跟踪所遇到的主要问题是：

1)应用面单一，缺乏适用性很广的算法。

2)运动目标阴影和运动目标混淆，消除阴影。

3)在跟踪过程中出现运动目标消失或受到遮挡。

4)基于检测和跟踪算法的复杂性如何保证处理的实时性。

5)目标做复杂运动或形变时的跟踪和分类问题。

为了有效实现视频序列中目标跟踪任务，本文重点研究了光流法和模板匹配跟踪方法，金字塔图像的Lucas Kanade光流法跟踪目标容易丢失，传统的模板匹配跟踪方法由于对图像利用率高，其跟踪比较准确，但计算量大、实时性差；针对这两种算法在目标跟踪方面的不足，对其进行了相应的改进和完善。通过Lucas Kanade光流跟踪算法预测目标质心位置、并设定目标搜索区域减小最小绝对差算法计算量；将模板匹配定位之后更正的目标质心做为下一帧Lucas Kanade光流跟踪算法跟踪的特征点，可以减小单一光流法预测目标质心带来的误差，实现可靠的跟踪。

2．常用运动目标跟踪方法

运动目标检测可以从图象中得到运动目标的位置、形状等信息，但这些信息是孤立的，并没有提供图象序列之间的联系，本章将对检测出的目标进行运动跟踪，对这些数据进一步处理，获得跟踪目标的标号和运动轨迹。目标跟踪的作用非常重要，因为它是衔接运动目标检测和目标行为分析与理解的一个重要环节。在实际应用中，目标跟踪不仅可以提供目标的运动轨迹、运动参数和准确的位置，也为进行场景中运动目标的运动分析和场景分析提供了可靠的数据来源，同时运动目标的跟踪信息也反过来为运动目标的正确检测以及运动目标的识别提供了帮助，从而更有利于运动目标的跟踪。

2.1常用运动目标跟踪算法

2.1.1金字塔图像的Lucas Kanade特征点跟踪算法

光流的概念是Gibson于1950年首先提出的。所谓光流是指图像中模式运动的速度。1981年，Horn等人在相邻图象间的时间间隔很小，并且图象灰度变化也很小的前提下，推导出灰度图象光流场计算的基木等式，这是经典光流方法[18, 19]。

光流法用于目标跟踪常用的算法有：检测和跟踪特征点[20]、跟踪好的特征点[21]、金字塔图像的Lucas Kanade特征点跟踪算法[22]。在这三种光流跟踪方法中，跟踪性能最优的是金字塔图像的Lucas Kanade特征点跟踪算法，由于该算法仅跟踪少量的特征点、迭代法收敛速度也很快而且算法的计算量不大，已被广泛的应用于运动车辆跟踪和人脸特征点跟踪[26,27]；下面介绍之。

1、问题提出

我们用I和J来代表两个灰度图像。那么I(x)=I(x,y)和J(x)=J(x,y)代表了这两个灰度图像在点的灰度值，x和y是图像的点X坐标。这里，我们称图像I为第一幅图像，称J为第二幅图像。从实际的图像来说，I和J是两个离散的函数，并且左上角的像素点坐标是。用和表示图像的宽度和高度。那么右下端的图像的坐标是。

考虑第一幅图像上的一点，跟踪的目的就是在第二幅图像上找到与之相对应的一点,是在点X处图像的速度，即点X处图像的光流。令和表示两个整数，我们假定图像速度d是使得下面的残差函数最小的函数：

（2-1）

根据上面的定义，相似度的函数被在的区域内定义。这个区域也称之为积分窗口。典型的、是2、3、4、5、6、7个像素。

2、跟踪算法的描述

基于特征点的跟踪的两个关键问题是准确度和鲁棒性。准确度是从直觉上来说，为了不抹去图像中的细节，需要小的积分窗口。鲁棒性因素需要考虑光照变化，图像运动时对尺寸变化的敏感性。特别的，为了了解大矢量运动的问题需要一个大的积分窗口。实际上，仅仅考虑等式（2-1），理想的情况是。这样我们就必须兼顾准确度和鲁棒性来选择积分窗口。为了更好的解决这个问题，采用了基于金字塔图像的光流跟踪方法。这个方法对局部跟踪的准确性提出了一个很好的解决方案。

(1)、金字塔图像表示

描述一个的图像I，令表示第0层图像（原始图像），那么金字塔图像表示是以一种回归形式而建立的：根据计算，计算，计算，以此类推；令L=1,2,…表示一系列金字塔图像层次，图像的大小为：，图像通过对图像隔行隔列采样得到。

采用金字塔图像表示方法的主要目的是处理大矢量的运动问题(处理大于积分窗的目标运动的问题)。因此应当用图像中最大期望的光流来恰当的确定金字塔图像的高度。在大多数的情况下，超过4的金字塔图像层次没有太大的意义。

(2)、基于金字塔的图像跟踪

回到前面说的跟踪问题:对于图像I中的一个给定的点u，找到它在图像J中对应的位置v=u+d，或者找到目标运动的矢量d。

对于，定义是点u在金字塔图像中的映射。根据前面关于金字塔图像定义的描述，则向量的计算公式如下：

（2-2）

等式（2-2）中的除法是对两个坐标分别进行的。

基于金字塔图像Lucas Kanade光流法跟踪的处理过程如下：首先在最深的一个层次Lm计算光流，然后，这个计算结果转递到Lm-1层；根据最初的假定，在Lm-1层计算出新的光流并把它转到Lm-2层，这样一直操作直到回到第0层（原始图像）。

现在让我们用数学公式详细的介绍一下从第L+1层到第L层的递归过程。假定在第L层有对被跟踪目标的位置有个大致估计，而从最高层Lm到第L+1层传递过来的运动矢量是。这样，为了计算出在第L层的光流，需要找到一个使得下面的残差函数:

（2-3）

达到最小的偏移向量:

（2-4）

注意到，在第L层的积分窗口的大小是保持恒定的尺寸的，即:

在第二幅图像中,用这里得到的最初估计作预平移。这样，求得的残余流向量就足够小，因此能够通过标准的光流法来求出这个运动矢量。

计算残余光流的细节将在下一节介绍。现在，我们假定这个向量已经计算出来(为了说明算法的完整性)。然后，这个计算过程的结果就传送到第L-1层，传递的向量是:

（2-5）

下一层次的残余光流，也可以通过同样的步骤计算出来。这个通过光流法计算出来的这个向量，使得下列残差函数达到最小值。将此计算过程一直继续，直到算到最底层(L=0)。此算法的初始化过程是通过设定最高层()的初始运动估计为零开始的:

（2-6）

最终的光流d通过对最底层(原始图像)作光流法计算得到偏移量，这个偏移量的大小是:

（2-7）

注意到这个偏移量也可以用下列的式子来表示：

（2-8）

使用金字塔图像计算光流的一个明显的好处是，对于一个有着较大的像素偏移的矢量d，可以通过计算几个比较小的残余光流来得到。注意到每个层次基本的光流法可以搜索得到的运动矢量达到，这样运用金字塔图像的方法最多能够处理的运动矢量范围达到。例如，如果金字塔图像的层次有3层的话()，这意味着像素的偏移量可以达到15层。这就是我们能够使用较小的积分窗口来计算较大的像素运动矢量的原因。

2.2迭代的光流法计算过程

现在介绍一下光流法计算的详细过程。在金字塔图像的每个层次L，找到偏移向量实际上就是找到使得残差函数最小的d。因为这个计算步骤对各个层次都是一样的，现在我们丢掉上标L，且定义新图像A、B如下所示:

（2-9）

（2-10）

注意到A(x,y)和B(x,y)的定义域稍微有些差异。实际上，A(x,y)是在窗口大小为的范围内定义的，而不是。在后面运用中心差分算子计算A(x,y)的导数时，这个差异将变得更加明显。为了说明的清晰起见，我们改变运动向量的表示方法，新的表示方式为,而图像位置新的表示方式为。依据新的表达方式，我们的目的是找到一个偏移向量，它使得下面的残差函数取得最小值:

（2-11）

对这个式子可以采用标准的光流法处理。为了优化这个问题，对的一阶导数为零:

（2-12）

通过将这个式子展开以后，我们得到:

（2-13）

我们把用它在点的一阶泰勒展开式来代替(因为采用了金字塔图像的方法，每层的运动偏移量比较小，因而采用一阶泰勒展开是一个很好的解决方案):

（2-14）

注意到A(x,y)-B(x,y)可以看作是在点的一个导数，所以:

（2-15）

矩阵仅仅是一个梯度向量，我们在这里对表示方法作一个小小的改

变： （2-16）

注意到图像的梯度和可以不必考虑第二幅图像B，而只需根据图像在点P的邻域的信息求得(在迭代法求光流的过程中，这一点的重要性是很明显的)。如果我们使用了差分近似微分算子，这两幅图像的导数的形式如下所示:

（2-17）

实际上，根据上面的记号方式，我们得到:

（2-18）

（2-19）

其中：

（2-20）

（2-21）

这样，计算公式可以简写为:

（2-22）

这样，简化后得到所求的光流向量为:

（2-23）

2.3金字塔图像的Lucas Kanade特征点跟踪算法总结

图2.1为Lucas-Kanade光流跟踪流程图；下列各式子的详细定义可以在前面几节中找到。Lucas-Kanade光流跟踪的目标是：已知图像I中的点u在图像J中找到与之相对应的点v。

（完整版）视频序列中运动目标跟踪方法的研究毕业设计