纷纭教育

全部频道

您的当前位置：首页基于视频图像序列的目标运动轨迹提取技术

基于视频图像序列的目标运动轨迹提取技术

来源：纷纭教育



摘要

基于视频图像序列的目标运动轨迹提取技术是已经成为精确制导武器的关

键技术之一，能够提高武器打击精度及力度；同时更能体现目标跟踪监控系统的

智能化和自动化。而在众多模式下的基于视频图像序列的轨迹提取技术中，基于

固定参照物视场变动模式的轨迹测量技术不受相机视野，能够有效地扩大目

标跟踪范围，更有着重要的研究意义和工程应用价值。

固定参照物视场变动模式的轨迹测量技术要求相邻两帧之间必须具有一定

的重复。由于运动目标瞬时空间位置坐标是通过相对前一时刻空间位置坐标的相

对变化得到，因此存在轨迹计算的累积误差较大的问题，同时由于目标体运动过

程中的姿态变化、参照环境的复杂性等因素，导致轨迹计算的精度很难得到保证。

本论文针对固定参照物视场变动模式下运动目标轨迹提取问题进行深入研

程中的姿态变化导致的相机坐标系变化问题，提出了成像系统外参实时校正方法，究，设计开发了基于视频图像序列的目标运动轨迹提取系统，针对目标在运动过


以置信度为约束条件的多目标优化模型，减少了特征点的误配率；最后通过车载

CCD实验对系统功能和精度进行验证，数据表明该系统能够精确的实现运动目标

的轨迹测量，并具有较强的适应性和可靠性。





1绪论

1.1课题研究背景及意义

基于视频图像序列的目标运动轨迹提取技术是动态视觉领域中一个具有重

要意义和实际价值的研究课题。目标运动轨迹是反映一段时间内目标的运动路线，

它的精确提取能够实现测量和分析目标的运动参数、运动行为评估等。在军事领

域中，该技术已经成为精确制导武器的一项关键技术，它能够有效地提高武器的

打击精度，强化武器的打击力度；同时在民用领域，以该技术为基础建立的人机

交互系统，能够实现运动目标的智能跟踪、行为监管等，真正地体现运动目标监

控系统的自动化和智能化。因此无论在民用上还是在军事领域中，该技术的研究

都具有较强的理论意义和研究价值。

目前基于视频图像序列的目标运动轨迹提取技术根据相机视场和参照物的

动情况下的运动目标跟踪及轨迹检测。固定视场内参照物运动方式中，相机及其不同可分为固定视场内参照物运动、变化视场内参照物运动和固定参照物视场变


拓展运动目标跟踪的范围和时间得到扩展，但是由于镜头等光学器件的，当

运动目标超出一定范围则无法成像或成像目标体的“点化”现象；固定参照物视

场变动模式下，相机视野随运动目标的运动变化，利用相邻两帧图像中的固定参

照物的空间位置不变特性实现运动目标的轨迹计算，此类方法不受相机视野的限

制，能够有效地提高运动体轨迹提取的作用范围，但是要求相邻两帧之间必须具

有一定的重复。由于运动目标瞬时空间位置坐标是通过相对前一时刻空间位置坐

标的相对变化得到，因此存在轨迹计算的累积误差较大的问题，同时由于目标体

运动过程中的姿态变化、参照环境的复杂性等因素，导致轨迹计算的精度很难得

到保证。

本论文针对固定参照物视场变动模式下运动目标轨迹提取问题进行深入研


究，设计开发了基于视频图像序列的运动目标轨迹提取系统；提出了成像系统外




参实时校正算法、多目标优化特征提取算法，有效的解决了累积误差较大、坐标计算精度低等问题，实现了运动目标轨迹的精确测算。

1.2课题相关领域研究现状

1.2.1基于卫星定位导航系统的运动目标轨迹提取技术

随着科学技术的不断进步，卫星定位导航系统与计算机视觉技术相结合在目标运动轨迹跟踪提取领域得到了广泛的应用。通过接收至少4颗卫星不间断发送自身星历参数和时间信息，对地面目标进行精确定位，从而可以有效地对目标运目前，可实用的卫星导航系统有美国全球卫星定位导航动轨迹进行跟踪和定位。

系统(GPS)、前苏联的全球导航卫星系统(GLONASS)、欧洲“伽利略”以及我国自主研发的“北斗”卫星导航系统。

美国的全球定位系统GPS在20世纪60年代末开始研发。1978年发射第一

GPS-2、GPS-2A、GPS-2R、GPS-2F等不断改进的型号。二十多年来，经过不断改
颗卫星，迄今共经历了在轨验证试验的第一代GPS-1和实用组网的第二代

使用的全球卫星导航系统，1982年开始正式发展，1996年宣布建成。GLONASS
的发展大致可分为两个阶段，。第一阶段是1982至1985年的试验阶段，共发射11
颗第一代试验卫星；第二阶段是1985年至1995 年的部署阶段，共发射57颗三
种型号的卫星，使系统达到满星座运行。但GLONASS卫星寿命较短，建成之后又
不能及时进行补网卫星发射，导致在轨可用卫星少。GLONASS的应用普及远远不
及GPS；1992年2 月10日欧盟执行机构欧洲委员会公布了欧洲导航卫星系统
Galileo计划。2002 年3月26 日，欧盟15国交通会议一致决定正式启动
Galileo计划。2003 年5月26 日，欧空局15个成员国就联合开发Galileo系统
2003年7达成协议，解决了阻碍Galileo计划顺利实施的投资与利益分配问题。

月11日，Galileo系统的首批两颗卫星合同授出。

我国在2000 年首先建成北斗导航试验系统。2007年4 月14日，成功发射了第一颗北斗导航卫星，2009年4 月15日，我国在西昌卫星发射中心用“长征



三号丙”运载火箭成功将第二颗北斗导航卫星送入预定轨道。2010年1月17日，成功将第三颗北斗导航卫星送入预定轨道。根据系统建设总体规划，2012年左右，系统将首先具备覆盖亚太地区的定位、导航和授时以及短报文通信服务能力；2020年左右，建成覆盖全球的北斗卫星导航系统。

自从卫星导航定位系统投入运行以来，其应用领域不断扩展，应用潜力也不断得到开发。同时，对定位精度、实时性方面的要求也越来越高。对卫星定位导航系统中定位精度较高的GPS而言，GPS卫星的空间几何分布也会对定位精度产生一定程度的影响。在忽略美国SA的情况下，普通GPS接收机定位精度约为30m 左右。消除定位精度带来的影响一般是采用差分GPS，实时差分GPS(DGPS)定位的精度可以达到2m--5m。对于普通的定位和导航应用如陆地车辆、海上船舶、空中飞机以及个人等的定位和导航而言，上述的位置精度己经足够了。但是，在一些特殊的应用领域，如目标运动轨迹精确提取、测绘、地震监测、飞机进场着陆以及其他精密测量领域，要求达到分米级、厘米级甚至毫米级的精度，

又受高大建筑物、隧道、立交桥、树木等地物的反射和遮蔽等影响，卫星定位导
普通差分GPS就不能满足要求了。另一方面，有时由于道路两旁地物特征复杂，


1.2.2基于图像的运动目标轨迹跟踪技术的研究现状

基于图像的目标运动轨迹提取技术是对摄像机采集的图像序列进行特征提取，并根据这些特征对图像序列中的目标进行关联、匹配，得到运动目标的运动轨迹。目前该技术根据相机视场和参照物的不同可分为固定视场内参照物运动、变化视场内参照物运动和固定参照物视场变动情况下的运动目标跟踪及轨迹检测。

对于固定视场内参照物运动和变化视场内参照物运动两种情况下的运动目 并取得了很多优秀成果。标轨迹提取技术，国内外各国学者都已展开了相关研究，
目标跟踪的基本概念首先是由Wax在1955 年提出的；19年，Sittler在包括数据关联等内容的多目标跟踪理论方面取得了突破性进展。随着经过多年的研究与



发展，视频监控系统取得了很大的进步和成就，1997年，美国DARPA（Defense

AdvancedResearch projects Agency ）就设立了以卡内基梅隆大学为首的视觉监

控重大项目VSAM（VisualSurveillance And Monitoring），其目标是建立一个能

在城市或战场等复杂环境下应用多个摄像机对人、车等的行为进行监控的系统，

用于实现人力监控费用昂贵、非常危险或者人力无法到达的场合的监控；2000

年开始，美国DARPA又资助了HID（HumanIdentification at a Distance）项目，

其任务是开发多模式、大范围的视觉检测技术，实现远距离人的检测、分类和识

别。有26个高校公司参与了该项目。Berkelye分校从上世纪90年代初开始对

实时交通监控方面进行研究，在运动物体分割、运动物体跟踪、遮挡处理等技术

方面的研究上取得了一定的成果，并发表了多篇相关科学研究论文。

在国内，对于这两种情况的轨迹提取技术的研究研究起步较晚，发展水平相

对较低。我国从1986年开始对图像跟踪正式立项研究，图像跟踪算法理论研究

取得了很大的发展。2002年刘永信等人探讨了基于Kalman滤波理论的渐消记忆

点检测和聚类自动检测；1999年王栓等介绍了一种基于差分图像的运动目标检
递归最小二乘法在重建图像背景中的应用 同年，张辉等人研究了如何实现出格


标检测提出了双差分的目标检测算法，目标分类应用到了连续时间和最大估

计的原则。

而对于固定参照物视场变动情况下的图像分析研究目前还处于目标的检测、

跟踪和测量上，还没达到轨迹精确测算的理论高度。如：美国MIT的Lincoln实

验室自90年代以来，在航拍图像处理方面做了大量的工作，他们综合利用高分

辨率多极化航拍图像的多种特征进行目标的自动识别，因其高分辨率的数据特性，

可采用二维匹配的方法确定目标的位置及方位角，最后采用盒维数对目标进行检

测、跟踪。同时，西欧各国也投入了大量的人力物力从事航拍目标识别、跟踪的

技术研究，如英国学者采用MUM（MergeusingMoments）算法和最大似然估计

对航拍图像的纹理特征进行分类，法国SheffieldUniversity的学者采用模板匹配


运用互相关及K-S相关（Kolmogorov-Smirnov）算法提取特征，都得到了很好的




效果。国内发展也较快，已经有很多研究机构投入到航拍图像分析研究中，中北

大学、国防科技大学、东南大学以及中国科学院电子学研究所38所等单位一直

在积极开展固定参照物视场变动情况下的图像跟踪、检测方面的研究。上述研究

成果虽然能够很好地实现固定参照物视场变动情况下的目标识别、跟踪等图像分

析工作，但是很难实现运动目标的轨迹测算。这是因为在轨迹测算过程，需要解

决相机视场中相对位置精确提取，相机的瞬时姿态校正、轨迹误差累积消除等关

键技术。目前这些相关技术还处在理论研究阶段，还未组成应用于实际的成型系

统。

1.3课题来源

本课题来源于中北大学申请的山西省自然基金“基于时、空图像信息融合的

三维测量技术（基金号2007012003）”。在此基金的支持下，论文主要是利用图

像序列的时、空信息实现运动的目标运动轨迹的精确测算。

1.4 主要研究内容


标优化特征提取算法，有效的解决了累积误差较大、坐标计算精度低等问题，实

现了运动目标轨迹的精确测算。具体研究内容如下：

第一章介绍了课题的研究背景、目的和意义，综述了目标轨迹提取的研究

现状，然后对基于GPS的目标运动轨迹提取技术和基于图像的目标运动轨迹跟

踪技术的两种形式分别做了介绍。最后提出了本文的研究内容，确定了本文的研

究方向。

第二章在了解了本课题的研究目的和应用背景的基础上，组建了目标运动

轨迹提取系统。该系统融合了图像实时采集、图像处理、目标运动轨迹测算和提

取以及数据存储的功能。然后分别详述了视频采集子系统、相机姿态实时获取子

系统、光照自适应子系统以及详细说明了各个子系统之间的关系和功能，为后面

章节中的算法模型建立和实验验证提供了可靠的系统平台。

第三章在分析了系统组成的基础上，研究了相机参数标定及姿态校正技术。



首先分析了相机成像模型和相机参数标定方法，然后利用两步法对相机参数进行标定。其次在对空间坐标系分析的基础上，通过陀螺仪获取的数据和空间坐标系变换关系对相机姿态实时校正。

第四章针对基于多目标优化SIFT特征匹配算法，研究了多目标优化理论及 建立了以相关系数和特征点之间的欧氏距离为目标函数，以置优化模型的构建，
信度为约束条件的多目标优化模型，并通过实验仿真对本文提出的算法模型进行验证。最后研究了实际运动轨迹提取并进行了实验验证。

第五章对论文的主要研究成果和创新之处进行了总结，分析了论文中存在的问题，为今后进一步的研究指明了方向。

2 运动目标轨迹提取系统的设计
示。

计算机

陀摄
螺像
仪机

千兆网卡

图2.1系统硬件组成
系统的软件组成主要分为三个软件处理模块：视频采集模块（CCD成像系统和图像采集）、目标姿态实时获取模块、光照调节模块以及图像处理模块（包括图像预处理、特征点提取以及目标匹配）。如图2.2所示。



视频采集模块

图

图像处理模块

目

轨

C

特

C
D
成

像

图
像
采

像

征

标

迹

预

点

匹

提

处

提

系

集

配

取

理

取

统

光

相

照

载体

机

自

姿态

适

实时

标

应

获取

定

调

模块

节

图2.2系统软件组成

机通过千兆网卡将模拟视频信号转换为数字信号，该转换输出的数字图像一方面系统的工作流程如下：摄像机的模拟信号通过千兆网线传送至计算机。计算

踪。

角度变化。

实现目标运动轨迹的实时跟踪和提取。

2.1.1视频采集模块

（1）摄像机

摄像机是监控系统的重要部件。工程应用中大量采用的是电荷耦合式

CCD(ChargeCoupled Devices)，在图像采集领域，CCD传感器是一种新型的固体

成像器件。利用这种芯片，借助于必要的光学系统和合适的外围驱动电路，可以

将景物图像，经过光敏区上逐点的光电信号转换、储存和传输、在输出端产生系

列时序视频信号，从而把一幅按空间域分布的光学图像，变成一列按时间域分布

的离散电信号。


作为一种固体成像器件，CCD具有以下特点：体积小、重量轻、电压及功

耗低、可靠性高、寿命长等一系列优点；且具有很高的空间分辨力、光敏元间距



的几何尺寸精确、可以获得很高的定位精度和测量精度；具有较高的光电灵敏度

和大的动态范围；数据速率可调，可适用于动态与静态等各种条件下的测量。

随着技术的快速发展,使用于各种环境的CCD相机的视频采集系统正在被不断地开发出来。通常,系统在工作时由CCD相机将采样的数据传输给计算机。然而随着实时获取图像要求的不断提高和图像质量的不断改善,数据传输速率呈现出显著的增长趋势,如何保证传输过程的稳定和可靠成为设计中越来越需要重视的问题。常见的数字图像采集系统与计算机的传输接口主要有三种：PCI总线，USB总线，以太网。

（2）图像数据采集模式

①图像采集卡

图像采集卡是视频采集子系统的重要组成部分，其主要功能是对相机所输出的图像数据进行实时的采集，并提供与PC的高速接口。

软件

图2.3图像采集卡
采集卡与CCD相机间通过点对点物理层接口进行数据传输，高速数据采集
卡接收到数据并通过PCI总线将数据写入计算机内存，然后利用采集卡的存储功
能将数据通过IDE接口写入计算机硬盘。这种方法虽然简单可靠，但对多通道、
高速图像数据的采集在数据传输和存储方面有一定的局限，容易引起数据帧的丢

失，并且随着传输通道的增多，引起传输导线数量增加，系统功耗及噪声也随之

增大。

②USB 视频采集
USB总线即通用串行总线。USB(universalserial bus)是由Intel、ComPaq、Digital、IBM、Microsoft、NEC、NorthemTelecom 等7家世界著名的计算机和通信公司共同推出的一种新型接口标准。它基于通用连接技术，实现外设的简单快速连接，达到方便用户、降低成本、扩展PC连接外设范围的目的。它可以为



外设提供电源，而不像普通的使用串、并口的设备需要单独的供电系统。另外，

快速是USB技术的突出特点之一，USB的最高传输率可达12Mbps，比串口快100

倍，比并口快将近10倍，而且USB还能支持多媒体。

在USB系统中，不同类型的USB设备使用相同的接口，因而用户在连接时，

不需要考虑连接接口的类型以及接口的硬件电气特性。USB设备具有热插拔、

即插即用的特点。用户可以在开机的情况下，对设备进行插拔操作。USB总线

带有5V的电源线和地线，USB设备可以从系统总线上获得+5V、小于等于500mA

总线供电，因而，在USB设备设计时可选择采用总线供电或外接电源。根据USB

系统规范，USB总线上总共可以连接127个USB设备，用户只需直接把设备连

接到空闲的USB接口上。由于USB接口不占用系统的I/O口、地址总线和中断

向量，当总线上的接口不够时，用户只需通过USB集线器来扩展更多的USB接

口即可。

通用串行总线USB数据采集：USB2.0的理论速度可以达到480Mbps/s，采

即插即用、支持热插拔、高带宽、低功耗、低成本、动态加载驱动程序，级联星
用USB2.0 能够实现CCD相机的数据高速采集，具有连接方便、无需外接电源、

③以太网接口

以太网是目前应用最广泛的计算网络技术，在它上面应用的TCP／IP协议

也已经发展的比较成熟并得到了广泛的认可。目前10Mbps的以太网已家喻户晓，

lOOMbps的快速以太网已开始广泛应用，1000Mbps以太网技术也已逐渐成熟，

10Gbps以太网亦即将投入使用。其速率可以满足对带宽有更高要求的需要。

在图像数据传输方面，以太网可以高速传输和存储图像数据，不容易引起数

据帧的丢失，系统功耗小等特点可以完全满足系统的实时图像数据处理的要求，

同时，由于几乎所有的编程语言都支持以太网的应用开发，具有很好的发展前景。

因此，如果将以太网引入视频图像存储系统，可以保证通过图像实时记录高速运

动目标的运动规律，既而为高速运动目标的运动参数测量、跟踪、制导提供可靠

的数据支撑。

在本课题中，由于固定参照物视场变动，相机跟目标一起运动，则需采用高

帧率的图像采集设备，才能实时记录目标的运动规律；相应地在图像数据传输方



面，对传输效率和图像存储速度也提出了很高要求。为此课题采用以太网技术实

时数据获取方案,将数据接收的任务交由一台通用PC机来实现,很好地解决了

数据传输问题。该方案具有简便、有效、能适用于各种高速运动目标等优点，有

助于目标运动轨迹的精确提取。

2.1.2目标姿态实时获取模块

在目标运动轨迹提取过程中，由于外界环境复杂和目标自身运动引起相机的

俯仰角、滚动角以及偏航角变化，相机自身的坐标系轴也发生了相应地变化。此

时反应到图像坐标系中角度变化并不是实际的角度变化量，从而使得标定后的相

机参数及标定坐标系发生紊乱，影响后续轨迹测算的精度，最终导致空间坐标系

转换以及轨迹提取产生误差。此时，很难继续对目标运动轨迹进行精确提取。在

图像处理过程中如果知道相机在惯性坐标系下的姿态，将为目标运动轨迹跟踪提

供辅助定位信息，从而能有效地提高轨迹提取的精度。但是仅仅通过图像序列之

间的相互关系无法精确且实时获取相机的运动姿态。

陀螺仪能感应目标的空间姿态变化，是定姿定向应用中的关键器件。它是一

旋转，旋转轴所指的方向在不受外力影响时，是不会改变的。陀螺仪是一种能够

精确地确定运动物体的方位以及运动姿态的仪器。它不仅可以全面地检测到几乎

所有的运动参数，而且还有一个极大的优点，陀螺仪是完全自主式的测量方法，

它不依赖外部的光线，电磁波，声音，磁场等等的外部信息来测量相机角运动，

其工作完全不受自然的和人为的干扰影响。通过陀螺仪能够检测目标运动过程中

相对于惯性空间所转动的角度，然后再通过相应的数学模型和空间坐标系的变换

得出相机在运动过程中的俯仰角、滚转角以及偏航角，可以避免因为相机坐标系

轴的角度变化引起的累积误差，通过陀螺仪实时获取的相机运动位置和姿态，进

而提高目标运动轨迹测算的精度。

为此系统在运行过程中，装载陀螺仪，实时获取目标运动姿态的变化，为目

标运动轨迹的提取提供可靠的辅助定位。





2.1.3光照调节模块

在目标运动轨迹提取过程中，外界光线的变化和地面图像本身特征点不明显

的各种因素，可能对图像的采集结果产生影响，以至于在后续图像处理过程中的

特征点提取、图像匹配以及轨迹提取的精度环节造成较大误差。光照自适应子系

统就是借助外光源使得在图像采集过程中获得较为理想的图像。

①软件调节

曝光是用来计算从景物到达相机光通量大小的物理量，只有使感光芯片

CCD获得正确的曝光，才能获得高质量的照片。曝光过度，照片看起来就太亮，

即灰度过大；曝光不足，照片看起来就会太暗，即灰度过小。

在实验过程中，由于受外界环境光线变化的影响，往往无法获得满意的曝光

效果，使得相机获得的图像灰度大小不一，继而会影响到后续的特征点提取和图

像匹配精度。如果可以根据光线或者图像序列灰度均值的变化情况自动调节相机

制模型。它通过将整幅图像的某一区域的灰度均值与预先设定的参考值比较， 来的曝光量，那么就可以达到较为满意的曝光效果。因此在系统中融入自动曝光控


f x y ( , )
x i y

j u x y ( , )M （2.1）

其中






为灰度均值，

T

为曝光时间，

g f x y ( ( , ))

为曝光量调节函数，

f x y ( , )

u x y ( , )

为单个像素灰度值，M 为曝光量调节所针对的图像区域像素个数。

具体算法流图如下所示：





采集图像

计算均值

增加曝光时间

减少曝光时间

f

(

x

,

y

)

是

否

f x y

)

a

( ( , )

a )

否

是
曝光时间调整

结束

图2.3自动曝光流程图
首先对采集获得的图像计算灰度均值，根据图像灰度值与参考值的比较


f x y ( , )


a

，其中

a

为预先设置的参考值，

为阈值。如果满足判断条件，则

减少曝光时间；反之，增加曝光时间。曝光时间调整结束；反之，则对曝光时间进行相应地调整。当

( ( , )

a

)

时，


均匀和稳定。光照自适应子系统的机辅助调节部分主要包括光源、可调节型遮光

罩、套筒等辅助设备。

遮光罩

相机

套筒

镜头

图2.4总体结构示意图
如上图所示，套筒固定在车体后方两车轮之间上，它也是整个机械辅助调节

系统的主体装置，CCD 相机装置在套筒的前端，如虚线所示部分。最外层是装
置在套筒中部开放性的可调节性遮光罩。可调节型遮光罩安装在相机及辅助光源




的外围。遮光罩可以起到防止成像光、散射光以及干扰光进入镜头，某种程度上

还可以为镜头遮挡风沙、雨水等。

相机

遮光罩 镜头

LED灯

图2.5LED灯圆环形光源

CCD相机和镜头在整个辅助性设备的中间位置，周围由数个LED灯组成环

形光源，套在相机外围且将相机放置在圆环形光源的中心，并通过最外层的可调

节性遮光罩使辅助光源的光线可以均匀的补充到相机视场。

2.2成像设备选型分析

确选取对后续的图像采集和目标运动轨迹测算具有重要的影响。 下面主要研究分 摄像机是基于视频图像序列的目标运动轨迹提取系统中的重要部件。它的正


相机 x

位置

LL 'D d

l'

l

图2.6相机理想线性成像模型

根据图2.6，假设相机的焦距为d，物距为D，视场宽为L，视场中特征提

取区域宽度为L'，L所对应的像宽为，L'所对应的像宽为。'

由相机理想线性成像模型得：


L

L '

D

（2.2）

当相机随目标体向前运动

x

l


l

'


d


时，同时保证图2.6 中的特征区域在当前图像

中仍存在，则相机的理想成像模型如图..所示。

相机

L

B

L '

D

位置

d

l '

A '

' l

x

A

O

B

图2.7相机向前平移后的理想成像模型

由上图可知，当位置沿着光轴垂直方向移动，不改变物体在相机焦平面上像

征区域在相机焦平面上的移动的像素数。
的大小。则可以利用图2.6和图2.7 进行对比分析，可以获得当相机前移时，特


D

根据公式（2.2）、（2.3）可以为CCD相机和镜头的选择，提供一定的理论依据。

2.2.2成像设备选型

在分析了相机理论测量分辨率技术的基础上，根据实验时相机载体的运动速

度、物距以及相机成像速度等因素，确定相机的分辨率、成像范围、帧率等参数，

进而实现摄像机的正确选取。

（1）CCD相机和镜头选择

相机距离地面的高度为100cm，采用16mm的镜头。假设车往前行走5cm，如

果测量精度为厘米级，在图像上至少要反应5个像素的变化。根据公式（2.3）

计算相机的分辨能力为0.8mm。而1/2尺寸16mm 镜头的水平视场角为：22.2°，

则水平方向视场大小为：392.4mm，相机水平方向的分辨率至少为491个像素。



为了保证后序车行轨迹提取的可行性，假设两帧图像之间存在1/3的重合区域，那么车在采集两帧图像的时间内车行驶距离为36.67cm。则如果要满足在50km/h的速度下，仍能很好地提取车辆行驶轨迹，则需在1s内采集53帧。

针对上述分析特选择维视的MV-VS030FM / FC相机和维视的VS-1614M镜头，具体参数如表2.1和2.2所示：
表2.1 选择的工业相机的主要性能参数

性能类型

参数

性能类型

参数

型号

MV-VS030FM / FC

同步方式

外触发或连续采集

最高分辨率

0×480

输出方式

IEEE 1394a

象素尺寸

5.6*5.6μm

数据传输距离

4.5 米(加中继可达72 米）

传感器类型

数字面阵CCD

可编程控制

图像尺寸、亮度、增益、帧率、曝光时间

光学尺寸

1/4”

镜头接口

CS 口或C 口

输出颜色

黑白

供电要求

正常供电12V

数据位数

10 位AD，8 位输出

功耗

2.4W

帧率

60fps

外形尺寸

50.8×50.8×70(mm)

I/O 接口

数字I/O 触发接口

豆


信噪比

>46dB

豆


曝光方式

帧曝光

豆




性能类型

参数

性能类型

参数

焦距

16mm

相对孔径

1/1.4

接口

C

尺寸

1/2"

水平视场

22°12´

外形尺寸

Φ28*37.5

重量

45g

最近物距

0.15m

（2）千兆网卡选择
根据MV-VS030FM / FC相机参数，每秒采集60帧，图像大小为0×480，位数为8位，则一秒所要进行的传输的字节数为：

n

0

480 60 8

147456000 b

140.625

Mb

为此，选用Intel PWLA8492MT千兆网卡。



2.3本章小结

本章根据论文的实验要求组建了目标运动轨迹提取系统。然后分别详述了视

频采集子系统、相机标定子系统、目标姿态实时获取子系统以及光照自适应子系

统。最后针对本课题的实验要求选取了相应地成像设备，从而后面章节中的算法

模型建立和实验验证提供了可靠的系统平台。



3、相机参数标定及姿态校正

3.1相机参数标定

在基于视频图像序列的目标运动轨迹提取系统的研究领域中，相机参数是必

不可少的部分。对于该系统而言，系统轨迹的精确测算和提取是在相机经过初始

标定的基础上进行的。相机参数的标定精度、标定速度以及标定模型的可移植性

直接决定着轨迹提取精度等。为此在本系统研究过程中，初始位置的相机参数标

定过程显得尤为重要。



相机标定可以确定相机的几何光学特性(内部参数)包括焦距f 、畸变系数k1

和非确定性标度因子sx以及在特定的世界坐标系中相机的位姿(外部参数)包括

括世界坐标系相对于相机坐标系的正交旋转矩阵R和平移矩阵T。从而建立起三

维世界坐标和二维计算机图像坐标之间的关系，以实现二维信息和三维信息的相

互转换。因此，摄像机标定结果的精度及算法的稳定性直接影响后续处理的准确

性。

其标定过程是在确定成像模型的基础上，建立空间坐标系中物体点同它在图

像平面上像点之间的函数关系。因此在对相机标定之前，首先要根据CCD相机

的成像原理建立CCD相机成像模型

3.1.1相机成像模型分析

（1）透视成像模型

位空域场景到二维图像平面的不同投影方式。分为透视（perspective）投影和正
视频图像是成像系统利用摄像机获取的时变三维空间场景的二维投影，从三


不管相机与三维空域场景之间的距离相距多远，总可以产生相同的图像，当场景

与相机之间的距离大大超过场景上的点相对于自身坐标系的深度时，正交投影将

提供更好的近似表示，且在这种情况下，由于正交投影为线性投影，可以在图像

处理时使数学推导和计算较为简单。但是，正交投影不能很好的描述相机与场景

之间的距离、空间角度等一系列透视特性的变化规律。

透视投影是用中心投影法将形体投射到投影面上，从而获得的一种较为接近

视觉效果的单面投影图。它具消失感、距离感、相同大小的形体呈现出有规律的

变化特性，能逼真地反映形体的空间形象。透视投影符合人们心理习惯，即离视

点近的物体大，离视点远的物体小，远到极点即为消失，成为灭点。因此，透视

投影更适合本实验的要求。


透视投影使用一种基于几何光学原理的理想小孔（idealpinhole）成像原理

来描述二维图像的形成。多有从三位空域场景中出发的光线均通过称为“投影中



心”的透镜中心，当投影中心位于场景与图像平面之间时，透视投影原理如图3.1

所示：

X2

X1

(

X

1

,

X

2

,

X

3 )

图像平面

X3

透镜中心

图3.1透视投影原理图

上图所示，图像平面与全局坐标系的（X1L X2）平面重合。根据图中的结构，

（
描述三维空域场景中的点

X ,X）之间坐标变换关系的数学表达式为：(X,X ,X )与二维图像平面上的透视投影对应点


其中：f为投影中心与图像平面间的距离。

如果移动投影中心与全局坐标系原点重合，如图3.2所示

X1

x1

X 2

f

x2

1

,

X

2

,

X

3 )

X 3

(

X

图3.2投影透视原理图

则公式（3.1）变为：

x

f X 1

x

fX

2


（3.2）


1

X

3

2


X

3





（2）目标的空间位置确定
在计算机视觉处理中，我们通常所研究的视频图像序列是由相机对三维空间中的场景经过采样、映射等过程形成的。相机在拍摄三维空间中的场景时，其拍摄范围为位于正对摄像机的某一夹角范围内的空间景物，设拍摄空域范围为。

在时刻时，对于所拍摄的空间中某目标点(XY Z t ,, , )，经过一定波长的光照，

在该点有一定的反射能量，形成某种反射信息，这里我们假设信息模型为

L X Y X

, , )

经过摄像机的投影成像，在成像平面上会形成三维空间中

L X Y X

, , )

的一个二维图像

I x y t ( , , )

。沿着时间轴多个这样的投影成像就构成

了视频序列图像。因此有必要研究三维空域中摄像机成像模型，即描述场景中物体的三维结构、运动（位移和旋转）和相机机三维运动（缩放、旋转和平移）以及他们相对运动的数学模型。

一个物体的三维空域位置变化可以用以下的仿射变换来表示：

其中，X和X'分别表示刚体外表面上的一个点在时刻t和相对于坐标中'

（3.3）

X  X 2  ，X ' X 2 '  （3.4）
X3 X 3 '
R为代表旋转变换的一个
33的旋转矩阵。T表示一个三维平移变换矢量，其为：

三维旋转的矩阵

R

T

T 1

T 2

T 3






X

1

,

X

2

,

X

3

（3.5）

可以用相对于三个坐标轴

的欧拉（Eulerian）角

、、 来表示





X2

X1

X 3

图3.3旋转变换欧拉角表示

矩阵R沿三个坐标轴X1,X2,X3的顺时针旋转矩阵为：

10 0

R

0 cossin

（3.6）

0sin cos

cos0 sin


R （3.7）


表征三维场景中旋转变换的旋转矩阵R表示为

RRR R  （3.9）

由于视频图像相邻帧之间的间隔时间很短，因此场景中运动物体的旋转角度

很小，可以近似认为

cos



1,sin

x

,

有公式（3.6）（3.7）（3.8），表征三维

旋转矩阵R为：

1

R

1 

（3.10）

 1 

由公式（3.3），三维空域中物体在不同时刻和的位置变化可表示为：'

X 'X RXTX （3.11）

即：








X

'





X

1





1









1 

X

1



T 1

T 2

T 3





X

1






（3.12）

1

X

X

1

X

X

'

2

2

2

2

X

X



X

X

'

3

3

3

3

将旋转矩阵R进行分解如下

R



1





1 



0





0 



1

0

1

0






（3.13）

1

0

0

1

0





0

0

1

将公式（3.13）代入公式（3.12），可以得到











X

'





X

1





1









1 

X

1



T 1

T 2

T 3





X

1

X

X

1

X

X

(3.14)

'

2

2

2

2

X

'

X



X

X

3

3

3

3



0









0

X

1



T 1

T 2

T 3






0

X

2



X

3

3.1.2 相机参数标定方法分析


差不能加进去，因而不能进行系统误差的校正，另外加上噪声及镜头误差的影响，

使得标定精度不高。

非线性标定方法，由于充分考虑了成像过程中的各种因素，能够得到比较高

的标定精度，然而由此带来的问题是：

(1)相机标定的结果取决于相机的初始给定值，如果初始给定值取得不恰当，

很难通过优化程序得到正确的标定结果。

(2)优化程序非常费时，无法实时得到标定结果。

双平面标定方法的优点是利用线性方法求解有关参数，不需要非线性优化。

缺点是：未知数个数比较多，至少24个，存在过分参数化的倾向，图像坐标和

实际坐标间的变换是基于实验的，从而造成最终结果的不确定性。


而两步法利用线性变换方法或者透视变换矩阵求解相机参数，再以求得的参

数作为初始值，考虑畸变因素，利用非线性优化方法提高标定精度。该方法既解



决了利用透视变换矩阵进行相机标定没有考虑镜头的非线性畸变、精度不高的问题，又排除了相机非线性标定方法中初始值不当，优化费时的缺点，鉴于两步法的以上特点和本课题的背景条件，该系统存在着非线性畸变和透视畸变，因而本文利用Tsai的两步标定法进行标定。

3.1.3两步法标定

两步法先利用线性变换方法或者透视变换矩阵求解相机参数，再以求得的参数作为初始值，考虑畸变因素，利用非线性优化方法进一步提高标定精度。

目前普遍采用的两步法中最典型的是Tsai提出的基于RAC约束(RadialAlignmentConstraint)的两步法。第一步利用最小二乘法解超定线性方程组，求得外部参数；第二步求解内部参数，如果相机无透镜畸变，可由一个超定线性方程解出，如果存在径向畸变，则通过一个变量的优化搜索求解。需要求取（或

标定）的参数分为外部和内部参数8 个( R R , R T T T , f k C C 1 x y )。外部参
数包括世界坐标系相对于摄像机坐标系的正交矩阵和平移矩阵T，内参包括焦
O距

畸变的成像点

p

f

(

x

f

,

y

f

)

的向量，

p

w

(

x w

,

y

w

,

z

w

)

是标定平面上已知的标定点，

p

f

(

x

f

,

y

f

)

是

p

f

(

x

f

,

y

f

)

受径向畸变的实际成像点。

r p

是从点

(0,0,

z

w

)

到

p

w

(

x w

,

y

w

,

z

w

)

的向量。

r

f

与

r p

的方向一致，且径向畸变不改变

o p

的方向，即

o p

的方向始终与

o p

的方向一致。

( , u v '

' )

为无畸变的理想图像坐标，

( , )

为实际

图像坐标，

( u v 0 0

)

为光轴中心点图像坐标。其中

o

是图像中心。假设

( u v 0 0

)

处

在图像中心点，不考虑放大系数

k

x

与

k

y

的差异，可采用相同的畸变系数

k 1

。

由成像模型可知，基于RAC的标定方法存在以下特点：

1）径向畸变不影响

r

f

的方向。





2）有效焦距的变化也不会影响

r

f

的方向。








r f


的方向。


相机及投影中心


3）平移光轴也不会改变

c

)

相机坐标系

x

y

c

p

(

x

fy

f

)

f

O

u

( u

0v 0

O

)

r

f

p(

xfy

f

X

Zw

Yw

v

(

Y

w

)

r

p

P

(

x

w

,

y

w

Xw

)

世界坐标系

0 , 0 ,

z

,

z

w

z

c

图3.4透视成像模型示意图

(

x , y
假定有
)。根据这些标定坐标值形成一个矩阵 n个标定点，每个标定点的绝对坐标为 A，其中的a 行为： )，未修正图像坐标
1 2 3 4 5

u

( , u u u u u 1 2 3 4 5

)

(

r 1

,

r 2

,

r 4

,

r 5

,

T x

)

（3.16）

T y

T y

T y


T y

T y

从标定点的

n

次观测来形成一个矢量

b

( , x x 1 2

,...,

x n

)

．使用五个以上标定点，

就可以得到关于参数矢量



u

的线性方程组。使用奇异值分解来求解这个线性系

统，并使用方程解

u

( u 1

,

u

2

,

u

3

,

u

4

,

u

5

)

来计算除了

T z

的所有刚体变换参数，

T z

是摄

像机常数的比例函数，将在后面确定。

首先，计算出平移的

y

分量的大小。如果

u 1

和

u

2

不同时为0，

u

3

和

u

4

不同时

为0，则：





2
p y

U

[ U

2

4 ( u 1 u

4

u

2

u

3

)

2

] 12

（3.17）

2 ( u 1 u

4

u

2

u

3

)

2





其中

U

u 1 2

u

2

u

2

u

2

。如果

u 1

和

u

2

同时都为0，则：

2

3

4

T y 2

u 3 2

1

u

2

（3.18）

4

如果

u

3

和

u

4

同时为0，则：

T y 2

u 1 2

1

u

2

（3.19）

2

其次，确定

T y

的符号。选取标定点，这个点在图像平面上的投影点是离图像

中心最远的图像点(位于视场边界的场景点和其对应的图像点)。利用上面得到的

结果矢量，可根据3.16，计算r1，r2，r4，r5和Tx。

设x rx 1ry 2 Tx和y rxryT。如果和x 同号，y 和yf也同号，

那么T y具有正确的符号(正号)，否则在需要反号。注意，在不考虑Ty的符号


因为旋转矩阵R是正交归一化矩阵，则RTRI一定成立。使用这一性质来

计算旋转矩阵的最后一行中的各个元素：

r 7

1

r 1 2

r r 2 4

r 3

r 8

1

r 6 2

r r 2 4

（3.21）

r 6

r 9

1

r r 7 3

r r 8 6

如果

rr 1 4

r r 2 5

的符号是正的，则在

r 6

前加负号。在下面的计算相机内参数步

骤之后，

r 7

和

r 8

的符号可能会有所变动。

第四，计算相机内参数焦距

F

和平移变换T 的

T z

。为了估计F和T z，可使




用所有的标定点来构成线性方程组：

A v

b

（3.22）

使用每一个标定点来计算对应的矩阵行：

a

w

(

r x 4 w

r y 5

w

T y

,

d y y

f

)

（3.23）

并计算出方程3.22右边所对应的矢量元素：

bw(rx 7 wry 7w)dy yf （3.24）

矢量v包括所要估计的参数：

v(, FT z)T （3.25）

使用奇异值分解求解这个方程组。如果摄像机常数F0，则在刚体变换的

旋转矩阵元素r7和r8前加负号。

使用前面各步骤得到的F和Tz的估算值作为非线性回归的初始条件，计算一

建立真实(修正)图像平面坐标与摄像机坐标系中的标定点(x c , y c , z c )之间阶透镜变形系数1，并进一步得到 的更精确的估计值．通过透视投影来

c c
的关系式：

假设通过使用径向透镜变形模型第一项建立的真实(修正)图像平面坐标与测

量图像平面坐标之间关系为：

x

'
f

x

f

(1

k r 1

2

)

（3.27）

y

'
f

y

f

(1

k r 1

2

)

其中半径

r

的计算公式如下：

r

x

2

y

2

（3.28）

f

f

未修正(测量)图像平面坐标

(

x

f

,

y

f

)

不同于像素坐标

[ i

,

j

]

，因为前者的计算过

程中已经用到了图像中心位置坐标

( u v 0 0

)

，行间距

d

x

和列间距

d

y

，以及比例系

数估计值

x

．








使用透射投影和透镜变形方程中的y分量以及绝对坐标与摄像机坐标之间

的刚体变换公式，可以得到有关摄像机焦距f，平移和透镜变形的一个约束条

件：

y


(1

k r 1

2

)

r x 4 w f r x 7 w

r y 5

w

r z 6

w

T y

（3.29）

f



r y 8

w

r z 9

w

T z

这将形成求解参数

f

、

T z

和

1

的一个非线性因归问题。使用

y

轴测量值，而

不使用

x


轴测量值，是因为测量值会受到比例系数

x

的影响。图像的行间距

d

y

是非常精确的，可以通过摄像机的说明书得到，而不受数字电路的影响。

RogerTsai标定方法在工程中应用较广，适应性好，本文采用此标定方法实

现相机的焦距、畸变系数以及外参的标定。

3.1.4标定点选择

Tsai 相机标定方法采用的标定模块主要如图3.5所示的：标杆、平面模板、

平面对折类模板等结构信息精确确定的物体。标杆在使用前必须测量标杆的相对


量精度低等无法预知的问题。平面模板适合室内测量摄像机的参数，测量计算复

杂。平面对折模板与平面模板存在类似的缺点。

a、标杆类标定点 b、模板类标定点


图3.5相机标定的标定点选择

针对论文的测试背景和测试要求，上述两种无法保证标定工作的快速、 高效



完成。为此论文根据实际需要构建了空间透视标定模块，它可以适应于现有的基

于标定块的标定方法，同时构建简单、操作方便。如图3.6所示该模型由一个空

间正方体作为主体，其下为正四椎体和支架，该模型可以有效地降低空间标定点

的遮挡问题，在实际拍摄中在图像上最少有八个点，满足标定算法的六点、五点、

四点标定算法要求，若需要精确标定可采用扩展的方法扩大标点的个数。

E

H

F

G

正

方

体

A

D

o

B

C

边长

与正

方体

边长

相同

（a单标定模块）（b标定模块实物）

图3.6空间透视标定模块

采用该标定模块时，世界坐标系选择O点为坐标系的原点，O点到ABCD

平面的垂线为z轴，从O点出发平行于BC线沿B到C的方向为x轴，从O点

出发平行于AB 线方向沿A道B 的方向为y轴。标定模块的大小可根据实际情

0 i0

xi

a/2 i1,2,5,6 （3.30）

 a/2 i3,4,7,8

0 i0

yi

a/2 i2,3,6,7 （3.31）

a/2 i1,4,5,8

0i0

zia3/ 2 i2,3,6,7 （3.32）

 a(13/ 2) i1,4,5,8

把上述坐标值代入(3.15)式可得到18个方程，通过方程可求得变换矩阵R、

T 和相机的焦距。下面通过实验验证本标定块的使用。




3.1.5实验验证

根据论文实验部分所采用的数据采集系统：高速摄影的MV-VS045FC/FM工业相机以及VS-1614M镜头，采用Tsai算法，并结合所设计的标定模块，忽略相机采集图像时的镜头畸变，标定结果如下：

标定点的世界坐标为(单位mm)：



0

0 0

-31.0000 44.0048

31.0000 44.0048

31.0000 44.0048

-31.0000 44.0048

31.0000 107.0048

91.0000 107.0048

91.0000 107.0048

31.0000 107.0048

，

31.0000

31.0000

-

31.0000

-

31.0000

91.0000

91.0000

31.0000

31.0000

选用标定模快中的五点进行传统的标定可得到相机的外部参数：
表3.1 两步法标定相机的内外参数

为了评估摄像机参数的标定精度，采用畸变图像误差(DIE：DistortedImage Error)作为标定精度的评估函数：

其中

(

X

f

,

Y

f

)

DIE

(

X

f

X

'

)

2

( Y

f

Y

'

)

2

(

X

'

,

（3.33）

f

f

为标定点的实测计算机图像平面坐标系坐标，

Y

'

)

为标定

f

f

点的三维世界坐标系坐标经过摄像机模型投影于计算机图像平面坐标系的坐标。

两步法摄像机标定的畸变图像误差见表3.2，mean表示均值，stddev 表示标准

方差，max 表示最大值，sse 表示误差平方和。




表3.2两步法摄像机标定的畸变图像误差

mean(pixel)

stddev(pixel)

max(pixel)

sse(pixel)

0.125843

0.069056

0.361443

2.243541

由标定结果可知：实验值与相机给出值存在偏差，将此偏差作为系统误差，代入轨迹测算模型中，实时校正。

3.2相机姿态校正

通过惯性测量系统和计算机处理系统可以实时获取目标的运动位置和姿态。如图3.7所示，由陀螺仪检测出目标运动过程中相对于惯性空间所转动的角度，然后再通过相应的数学模型以及空间坐标系之间的变换矩阵，得出目标在运动过程中的俯仰角、滚转角以及偏航角，进而可以得出目标的位置和运动姿态。

G y Gx 陀螺驱 动和转 运算 积分

阵计算 姿态角

惯性测量系统 计算机处理系统

图3.7目标姿态实时获取原理图
坐标系是描述运动体位置姿态和运动的参考基准，相机在空间位置姿态的确定是依据坐标系之间的相互转换和测量加速度和角速率来实现的。确定空间运动体位置姿态的坐标系很多，正确选择合理坐标系能够使其运动方程组的形式和繁简程度降低，求解方程组更加容易和运动参数描述更加直观。

3.2.1 陀螺仪选取及标定



在基于视频图像序列的目标运动轨迹提取系统的研究中，陀螺仪将提供相机



在惯性坐标系下的姿态，为目标运动轨迹跟踪提供辅助定位信息，从而能有效地

提高轨迹提取的精度。下面通过讨论相邻两帧图像间的角度变化和位移变化，为

陀螺仪的选取提供理论依据。

（1）陀螺仪的选取

假设相邻的两幅图像存在一个角度的旋转，通过特征提取与匹配获取两幅

图像中同一特征点的偏移量

x

和

y

，在根据坐标变换公式可以获得当前特征点

在前一帧坐标系下的偏移量

x

'

和

y

'

：

x

'

x

cosy

sin

（3.34）

y

'

x

siny

cos

（3.35）

根据上述公式：假设

=3°，

x

=35cm，

y

=2cm 时，

x '

=34.847，

y

'

=3.829。由于测量中存在误差当

=3.01°时，计算得出

x 1 '

=34.900cm，

y 1 '

=3.800cm。当角度变化
y 'y ' 0.03 cm，故运行轨迹的测算精度在厘米级。 x 'x 1 ' 0.05 cm，
n 1

P 1

图3.8存在旋转时相邻图像关系图示

针对上述分析，选取西安中星测控的CS-ARS-02角速率陀螺仪，如图所示，

它采用进口MEMS芯片，制造采用BIMOS生产工艺和载流焊工艺技术。具有

高可靠性和高封装坚固性，并且具备自检测（Self-Test）功能，能实现BIT检测。

CS-ARS-02角速率陀螺仪主要性能参数如下表所示：





图3.9CS-ARS-02角速率陀螺仪

表3.3CS-ARS-02角速率陀螺仪主要性能参数

性能类型 参数 性能类型参数

型号 CS-ARS-02非线性度≤0.5%FS

输入电压 5±0.25VDC分辨率≤0.04°/s

输入电流 ≤8mA温度传感器输出2.5V

测量范围 ±100°/s温度传感器刻度因子8.4mV°/K

偏置电压 2.5±0.1V启动时间35ms

可靠性 MTBF10 万小时 45克刻度因数 11.5±1.3mV

偏置稳定性 ≤0.1°/s-45—+80°C


使得系统误差随着时间推移不断积累。如果不采取措施，在长时间的运行过程中，

累积的误差会大大降低载体的控制和系统的轨迹跟踪精度。为了消除陀螺仪漂移

误差的不利影响，必须了解陀螺仪的性能指标并在特定的实验条件下对陀螺仪的

各项参数进行测试。

①性能指标定义

零偏B0：当输入角速率为零时陀螺仪的输出量。

零偏稳定性Bs：当输入角速率为零时，衡量陀螺仪输出量围绕其均值的离

散程度。以规定时间内输出量标准偏差相对应的等效输入角速率表示。

零偏重复性Br：在相同条件下及规定时间内，重复测量陀螺仪零偏之间的

一致程度，以7次测量所得零偏的标准偏差表示。

②测试的试验设备：微惯性测量组合、多功能三轴位置速率转台，高精度万用表，

电源和工装等。



③测试的试验方法

将微惯性测量组合固定在转台上，设定测试时间60min；检查电缆连接正确

后，接通电源；记录10组微惯性测量组合中陀螺仪的输出电压，采样结束后，

关闭电源。经60min后重复；重复进行7次试验。

④试验结果与分析

表3.4是陀螺仪进行性能测试实验时记录的输出电压的部分数据。

表3.4陀螺仪七次试验的零点输出电压

单位(v)第一次 第二次 第三次 第四次 第五次 第六次 第七次

12.5666 2.56 2.5670 2.5669 2.5672 2.5671 2.5669

22.5665 2.5668 2.5669 2.5671 2.5670 2.5670 2.5671

32.56 2.5666 2.5668 2.5670 2.5669 2.5668 2.5670

42.5667 2.5667 2.5669 2.5670 2.5670 2.5669 2.5672

52.5668 2.5669 2.5671 2.5668 2.5669 2.5671 2.5671

62.5668 2.5666 2.5666 2.5670

7

8
2.5669

2.5667
2.5667

2.56682.5667 2.5670 2.5670 2.5672

2.5668
2.5668

2.5668


零偏计算公式为：

F

1

F i


(3.36)


N




m

1

F

B 0


(3.37)

K



B 0

1

Q

m1

B

(3.38)

Q

0

m


式中：

--每次采样的电压输出；


--N 次测试得到的输出平均值；

F i

F

B 0m

--第m 次测试得到的陀螺零偏；

B 0

--陀螺零偏。



表3.5 是该陀螺仪与零偏相关的计算数据。 表3.5 七次试验的相关数据




项目

单位

1

2

3

4

5

6

7

名称

F

v

2.5667

2.5667

2.5669

2.5669

2.5669

2.5670

2.5669

零偏

(º/s)

0.000 0.007

0.00179

0.00180

0.000449

0.001348

0.001

由上述测试结果可知，该陀螺仪的性能指标以及各项参数符合本系统对目标

运动轨迹提取的精度要求。

3.2.2相机姿态参数获取

当陀螺仪敏感目标运动角速度后，先将其转化为电压或电流信号，再将这些

电压或电流信号转化位数字脉冲信号，以提供计算机系统计算使用。陀螺仪输出

的脉冲信号与目标的转动角速度之间的关系经过模型简化可表示为：

NBx1D0xKBx()

 NBy1D0yKBy() （3.39）

NBDKB()

式中，NB x 1，NBy 1，NB z1为单位时间内个陀螺仪输出的脉冲数增量； D0x，

 D

则陀螺仪的实测角度由下式可得：

n nn

ti()，ti()，ti() （3.40）

i1i1 i1

其中，，分别是偏航角、滚转角和俯仰角。ti为两幅相邻帧图像间采

集时间间隔，当陀螺仪开始获取数据时，ti开始计时，即表示当前帧图像与前

一帧图像获取的时间差。通过时间变量和陀螺仪实测角速度相乘的累计和，可以

实时获取陀螺仪的实测角度。

由上式可知，陀螺仪的输出信息以脉冲数的形式表达出来。只要知道陀螺仪

的各种标定系数，通过反解上式就可以很容易的求出目标在载体坐标系内的角速

度值，然后经过坐标系间的变换关系获取目标运动的位置和姿态，




3.2.3空间坐标系分析

目标运动轨迹提取涉及到不同坐标系之间的变换，坐标系常用右手准则来定

义，图表示了三个不同层次的坐标系统：世界坐标系、相机坐标系和图像坐标系

（图像象素坐标系和图像物理坐标系）。


都用这个坐标系来表示。

(2)相机坐标系：以小孔相机模型的聚焦中心为原点，以相机光轴为zc轴建

立的三维直角坐标系。xc，yc一般与图像物理坐标系的XY平行，且采取前投

影模型。

(3)图像坐标系分为图像象素坐标系和图像物理坐标系两种：

图像物理坐标系：其原点为透镜光轴与成像平面的交点，

X

与

Y

轴分别平行

于相机坐标系的

x c

与

y c

轴，是平面直角坐标系，单位为毫米。

图像象素坐标系(计算机图像坐标系)：固定在图像上的以象素为单位的平面

直角坐标系，其原点位于图像左上角,Xf,Yf平行于图像物理坐标系的X和Y轴，

对于数字图像，分别为行列方向。

（4）载体坐标系(X r , Y Z r r )：载体坐标系是固连在载体上的坐标系，假设



OXYZ是载体坐标系，由于它与运动物体固连在一起，因此载体坐标系的中心通常都取在目标的重心处，OX轴沿载体向前，OY轴沿载体向右，OZ轴垂直于OXY面并且与X、Y、Z轴构成右手坐标系。陀螺仪直接安装在载体上，因此传感器的输出信号就是陀螺仪在载体坐标系相对于惯性空间的各个方向上所敏感到的信号。载体坐标系与载体固连，它相对于大地坐标系的的方位关系就是载体的运动位置和姿态。

目标在运动的过程中，由于自身运动姿态的变化使其坐标系很容易发生变化， 不能准确地跟踪地面的运动目标，为了解决这个问题，同时也失去了参考坐标系，
首先建立大地坐标系,因为大地坐标系是由地球的纬线和经线组成，它是始终不变的。通过相关的坐标系转换映射，实现如下坐标系的转换（如图3.9所示），从而提取当前目标在大地坐标系中的坐标位置信息。

图像坐标系相机坐标系 载体坐标系 大地坐标系

3.2.4 相机姿态校正

的运动参数，是实时获取相机运动姿态的重要环节之一。在通常情况下，由于目

标运动模型的参数是定义在不同坐标系上的，那么在建模过程中通过坐标变换进行向量的投影分解是不可避免的。下面介绍坐标系之间的转换方法。

1、相机的运动参数
1）、姿态角
俯仰角：相机坐标系轴X与水平面夹角，抬头为正。

偏航角：相机坐标系X在水平面上的投影与地轴XW间夹角。

滚转角：相机坐标系轴z与通过相机坐标系轴x的铅垂直面间夹角。

2）相机坐标系轴的角速度分量

相机坐标系轴的三个角速度分量

p q r

是相机坐标系的相对于大地坐标系

的转动角速度

在相机坐标系上的分量。




滚转角速度

p

：与相机坐标系X 轴重合一致；

俯仰角速度

q

：与相机坐标系Y 轴重合一致；

偏航角速度：与相机坐标系Z轴重合一致；

2、坐标系间的转换

（1）世界坐标系与载体坐标系变换关系

由于相机坐标系和世界坐标系都是直角坐标系，各轴之间始终保持直角，所

以可将坐标系理解成刚体，当只研究两个坐标系间的角位置关系时，可以对一个

坐标系做平移，使其原点与另外一个坐标系的原点重合。因此，两坐标系的空间

角位置关系可以理解成刚体的定点运动。世界坐标系中的点到载体坐标系的变换

可由一个正交变换矩阵R表示：

cos 0sin1 0 0cossin 0

R

01 0 

0 cos sin

sin cos 0

sin 0cos0 sin cos 0 0 1



coscos


cossin
sin

sin sincos sin

sin


cos


Yr

RY

w

（3.41）

Zr Zw

上式即为，其中，，分别为目标的偏航角、滚转角以及俯仰角。

（2）载体坐标系与相机坐标系变换关系

运动目标的惯性导航器件中，陀螺仪是沿着载体坐标系安装的，因此相机坐

标系与载体坐标系间的变换关系只需要由变换矩阵T表示。

T



cos

0

sin

0 



cos

1

0

0 

sin



cos

cos

sin

0






0

1

0

cos

sin

cos

0

sin

0

0

sin

0

0

1



coscos

sin

sin

sin

cossin

sin

sin

cossincos


cos coscos

cos

sin

cos

cos

sin

cos

cossin

sin

sin

sin

cossin




由于相机是固定在运动目标上的，其相对位置及拍摄方向，在目标行驶过程

中是保持不变的。

则载体坐标系与相机坐标系变换关系：






X

c



T



X

r






（3.42）

Y c

Y r

Z

c

z

r

（3）相机坐标系和图像坐标系的变换关系

如图3.8 所示，相机坐标系中的物点p 在图像物理坐标系中像点

p u

( , )

坐标

为：

x

fx c

/

z

c

(3.43)

y

/

fy c

z

c

齐次坐标表示为：

 f 0 0Xc

Zc

y 0 f 0Y (3.44)

将上式的图像坐标系进一步转化为图像坐标系

齐次坐标表示为：

 sx0u0



v

0 syv0 

y (3.46)

 00 1

其中，uv 0 0是图像中心(光轴与图像平面的交点)坐标，dx,dy分别为一个象

素在X与Y方向上的物理尺寸，sx1/dx，sy1/dy，分别为X与Y方向上的

采样频率，即单位长度的象素个数(pixels/mm)。由此可得物点p与图像象素坐标

系中像点p的变换关系。

其中，

f

x

fs

x

，

f

y

u

u

0

fs x x c

/

z

c

f x x c

/

z

c

(3.47)

v

v 0

fs y y c

/

z

c

f y y c

/

z

c

X

方向的等效焦距。f x , f y , u v 0 0

fs

y

分别定义为

和

Y





等4个参数只与相机内部结构有关，因此称为相机内部参数。

（4）世界坐标系和图像坐标系的变换关系

世界坐标系与图像坐标系变换关系：

x

u

u

0

r x 11 w

r y 12

w

r z 13

w

t

x


f


v

f

x


r x 31 w

r y 32

w

r z 33

w

t

z

(3.48)

y

v 0

r x 21 w

r y 22

w

r z 23

w

t

y

f



f

y


r x 31 w

r y 32

w

r z 33

w

t

z


齐次坐标表示为：

 Xw

ZC

v MRT

Yw

（3.49）

 Zw

fx0 u0

M 0fyv0


（3.50）

00 1

其中，M只与相机的内部参数有关，称为相机内部参数，R只与相机相对

即M矩阵己知，对任何空间点，知道图像象素坐标系中该图像点pu的坐标于相机世界坐标系的方位有关，称为相机外部参数，如果己知相机的内外参数，

3.3 本章小结 ( , )

在分析了系统组成的基础上，研究了相机参数标定及姿态校正技术，首先分

析了相机成像模型和相机参数标定方法，利用两步法进行相机标定并进行了实验

验证。然后在对空间坐标系分析的基础上，通过陀螺仪获取的数据对相机姿态实

时进行校正。

4目标运动轨迹提取算法

相机固定在运动目标体上，如果相机的采集速率足够快，即能保证两帧图像


之间存在一定的重合区域，通过提取这个重合区域在图像坐标系下的变化规律，

再根据系统标定结果以及相机姿态实时校正系统，利用相对测距法可以实现目标



运动轨迹的精确提取。因此要实现目标运动轨迹的精确提取，必须要有精确的特

征匹配算法以及合理的轨迹提取模型。为此本章着重从这两方面进行论述，建立

适用于目标运动轨迹精确提取的算法模型。

4.1基于多目标优化的SIFT特征匹配算法

SIFT算子因其良好的尺度、旋转、光照等不变特性而广泛应用于图像匹配

中。但在实际应用中，由于环境复杂导致获取的特征不明显且SIFT算子提取出

的特征点多、乱、灰度变化不明显以及没有角点、直线、边缘、模板、区域和轮

廓等明显特征等特点的影响，从而导致特征点误匹配。为此本文提出一种改进的

SIFT图像特征匹配算法。该算法是在SIFT特征匹配的基础上，利用多目标优化

算法，建立特征匹配的多目标优化模型，利用给定同一场景的两幅图像，根据两

幅地面图像模板之间的相互关系建立目标函数，利用特征点间的欧氏距离作为两

幅图像中特征点的相似判定准则，同时以最近邻与次紧邻的比值作为约束条件，

剔除一些误匹配点，提高图像特征匹配精度。


旋转甚至仿射变换保持不变性的图像局部特征描述算子----SIFT算子。SIFT算子

首先在尺度空间进行特征检测，并确定关键点的位置和关键点所处的尺度，然后

使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的

无关性。利用SIFT方法提取出的特征点可以用于一个物体或场景不同视角下的

可靠匹配，提取出的特征点对图像尺度和旋转保持不变，对光线变化、噪声、仿

射变化都具有鲁棒性。

具体算法步骤如下：

获取图像信息，首先建立一个尺度空间然后在该空间中寻找检测极值点。

1）尺度空间的形成

高斯卷积核实现尺度变换的唯一线形核，于是一幅二维图像的尺度空间定义

为：



L

(

x

,

y

,

G

(

x

,

y

,)

*

I

(

x

,

y

)

（4.1）

其中

G

(

x

,

y

,)

是尺度可变高斯函数，

G

(

x

,

y

,)

=

1

e

(

x

2

y

2

)

/

22

（4.2）



22






（x，y）是空间坐标，是尺度坐标，图像被平滑的越少，相应的坐标值也就越

小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。

为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间

（DOG），利用不同尺度的高斯核差分与图像卷积生成[26]。DOG算子定义为两

个不同尺度的高斯核差分，DOG算子如式所示：

D

(

x

,

y

,)

( G

(

x

,

y

,

k)

G

(

x

,

y

,))

*

I

(

x

,

y

)

L

(

x

,

y

,

k)

L

(

x

,

y

,)

（4.3）

DOG算子计算简单，使尺度归一化的LOG算子的近似。


图像金字塔的构建：下一组图像是由上一组图像降采样得到。如下图所示：


图4.1图像金字塔

2）空间极值点的检测

为了寻找尺度空间的极值点，每一个采样要和它所有相邻点比较，看其是否

比它的图像域和尺度域的相邻点大或者小。如下图所示：中间点和它同尺度的8

个相邻点和上下相邻尺度对应的92 个点共26 个点比较，以确保在尺度空间和

二维图像空间都检测到极值点。




图4.2极值点检测

3）精确确定极值点的位置

通过拟和三维二次函数以精确确定关键点的位置和尺度，同时去除地对比度

的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力。

4）关键点方向分配

利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数， 使算

子具备旋转不变性。


(x,y)tan2 ((( L(X,Y1)L(X,Y1)) /( L(x1, y)L(x1, y))) (4.5)

式（4.5）为（x,y）处梯度的模值和方向公式。其中L所用的尺度为每个关键点

各自所在尺度。

在实际计算时，我们在一关键点为中心的邻域窗口内采样，并用直方图统计

邻域像素的梯度方向。直方图的峰值代表该关键点的邻域梯度方向，即作为该关

键点的方向。

至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、尺度、方

向。由此确定一个SIFT特征区域。

5）特征点描述子生成

首先将坐标轴旋转为关键点方向，以确保旋转不变性。





4.1.2多目标优化理论

最优化的目的是根据一定的标准(目标)在许多可供选择的方案中搜索出最好

的或最令人满意的方案。如果选择时需要同时考虑的标准多于一个，最优化问题

就成为多目标优化问题。多目标优化的图像处理问题是通过调节多个目标之间的

权衡问题，使在一定的约束条件下同时达到最优，以此来减小图像处理领域中的

一些误操作，如：增强、匹配、识别等。

maxyFx ()(fx 1(), f2(),... fk())

st .. ex i()0(i1,2,...,m)
（4.6）

式中x(xx 12 ,...xn)Rn，x称为决策向量，通常由模型参数组成，称为

决策空间；fx i()为第个目标函数，yYRk，y称为目标向量，Y称为目标

空间，ex i()为约束条件。





{1,...,}, fx ()fx)
（4.7）对于，如果X满足下式，则称向量为Pareto优解。


解。在图像处理优化时,根据图像处理者(称为决策者)对优化目标主观偏好程度与

Pareto优解搜索过程之间的相互影响关系,多目标优化方法主要分为三类:先验优

先权法、后验优先权法与优先权演化法。

4.1.3基于多目标优化的SIFT特征匹配

对于地面图像而言，由于其本身特征点多、乱、灰度变化不明显以及没有角

点、直线、边缘、模板、区域和轮廓等明显特征，同时目标运动过程中还会受灰

尘的影响，以及颠簸给图像带来一定的尺度、旋转等变化，这样常规图像匹配技

术（如：相关匹配、角点匹配等）就显得为力。针对地面图像的特点，基于

SIFT特征匹配技术的优势就体现出来了。SIFT算法检测的点特征是图像的局部


特征，该特征对平移、旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿

射变化、噪声也保持一定程度的稳定性和适应性，而且就算是信息量较少的图像



也能提取大量的SIFT特征点。但是在大量特征点中，也会产生一些误匹配点；

同时SIFT特征描述的是点，即使在两幅不同的图像中也存在对应的匹配点。则

单独采用SIFT特征匹配技术无法实现路面图像的高精度匹配，为此考虑将多目

标优化理论引入SIFT特征匹配，降低路面图像的误匹配率。

最优化的目的是根据一定的标准(目标)在许多可供选择的方案中搜索出最好

的或最令人满意的方案。如果选择时需要同时考虑的标准多于一个，最优化问题

就成为多目标优化问题。多目标优化的图像处理问题是通过调节多个目标之间的

权衡问题，使在一定的约束条件下同时达到最优，以此来减小图像处理领域中的

一些误操作，为此本文引入了欧氏距离、相关系数以及利用置信度来评价待匹配

特征点与标准模板之间的匹配程度。

（1）欧式距离

本文利用特征点间的欧氏距离作为两幅图像中特征点的相似判定准则，查找

一幅图像中的特征点在另一幅图像中的对应位置，及搜索该特征点在另一幅图像

式距离的特征点。用最近邻与次紧邻比值来进行特征点的匹配可以取得很好的效
中欧氏距离最近的点，成为近邻搜索。次紧邻特征点是指具有比最紧邻稍长的欧

d X )( x 1x 2 )( y 1y 2 )

其中，dX )是特征点的欧氏距离。

（2）相关系数

相关系数是用以反映变量之间相关关系密切程度的统计指标。相关系数是按

积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来

反映两变量之间相关程度。当

0

xy

1

时，表示两变量存在一定程度的线性相

关。且

xy

越接近1，两变量间线性关系越密切；

xy

越接近于0，表示两变量

的线性相关越弱。定义如下：

设X 与Y 是两个随即变量，其联合分步函数为

F x y ( , )

，

( , )

R

2

，则在XY



也可积的条件下，其协方差定义为：





那么，

其中：

cov(

X Y , )

E XY

)

(

EX

)(

EY

)

 



xydF x y ( , ) (

EX

)(

EY

)

(4.9)

x y

的相关系数定义为：

XY

cov(

X Y , ) /

var(

X

) var( )

var(

X

)

为

X

的方差。一般地，

XY

1

，相关系数在本文中表示相

邻帧图像中相关程度。

在特征匹配中，引入相关系数作为优化准则，可以充分利用SIFT特征邻域范围内的灰度信息，这样可以有效地提高SIFT特征匹配的精确度。

（3）置信度
置信（Confidence）广义上讲指的是正确的概率，置信度（Confidencemeasures）是评价这种概率的一种量度，表示某一事件的可靠程度。由于置信度模型可以用来判断观测数据和标准模型之间的匹配程度，因此该参数可以作为约

束条件，对匹配结果进行一定的约束，从而提高整个系统的识别率和稳健型。

，定义置信区间为m,m)的置信度定义为 置信度在统计学上有严格的定义，假设一个抽样统计量的均值为m，方差为

20

其中t。

针对上述问题，该系统在SIFT特征匹配的基础上引入多目标优化理论。在SIFT特征点提取的基础上，利用多目标优化准则，实现两幅图像的SIFT特征点的精确匹配。构建多目标模型如下：

①目标函数

根据两幅地面图像模板之间的相互关系建立目标函数：

min

r 2

min ( d X

)

,

f

2

( , ))

(4.11)

max

max cov(

f 1

r 1



式中，

d X

)

相邻帧图像相似特征点间的距离，

邻帧图像中特征点之间的相关函数。



cov(f,f (, ))为两个相





②约束条件

其中，

d 1(

X

)

s t . . 1

d 1

(

X

) /

d

2

(

X

)

d

2(

X

)

(4.12)

是特征点

是特征点与另一幅图像中特征点的最近距离，



与另一幅图像中的特征点的次近距离。 由此得到如下多目标模型：

为约束条件的阈值。

min

r 2

min ( d X

)

f

2

( , ))

（4.13）

max

r 1

max cov(

f 1

,

)

s t . . 1

d 1

(

X

) /

d

2

(

X

③模型求解
对于上述多目标优化模型，论文采用线性加权法进行求解。首先将式（4.13）通过线性加权法转化为一个标量值函数的优化问题：


 min H x ( )

l
2
1
l l r x ( )
l
2
1
l l0
(4.14)
式中l为对应第l个目标函数的权系数。它的选择是将相邻两次迭代得到的
 s t . .
式如下：q t  r x l )r x l )





l 1

l
L


1

q l
q l
l1,2 （4.15）

再采用最快速下降法来求解上述多目标优化问题，通过计算迭代公式如下

x

k

x

k

l

(

x

k

,

,

C

k

)

（4.16）

为拉格朗日乘子，C 为惩罚因子，为梯度。

通过求解上式获得当前图像中的SIFT 特征点在下一帧图像中所对应的点，以此来反映目标的运动规律。



4.1.4 特征匹配仿真实验



特征点匹配是指在找出图像的特征点后，寻找图像间特征点的对应关系。 理



想状态下两幅图像间相同部分的特征点应该具有相同的特征描述向量。但是由于

图像间存在不重叠的部分，这些区域中的特征点在另一幅图像中并没有与之对应

的特征点存在，但是未作改进的SIFT算法仍然会提取出错误的匹配点对。为了

排除这些错误的匹配点对，本文提出基于多目标优化的SIFT特征匹配算法对其

进行匹配，最后取得很好的效果。

图4.3为利用未改进的SIFT特征匹配算法对同一场景下，不同光照和不同

拍摄角度条件下的图像匹配结果图。图中绿点标示出的特征点为错误匹配点对。

图4.4为本文算法的匹配结果图。图4.5为为利用未改进的SIFT特征匹配算法对

同一场景下，不同焦距和不同光照条件下的图像匹配结果图。图中绿点标示出的

特征点为错误匹配点对。图4.6为本文算法的匹配结果图。

由上面分析可以看出，使用本文的改进算法可以有效的剔除错误的匹配点对，

得到的匹配关系基本全部正确。




图4.3 未改进算法匹配结果图

图4.5 未改进算法匹配结果图

图4.4本文算法匹配结果图


图4.6 本文算法结果图



为了更进一步说明本文改进算法在SIFT特征匹配中的优势，分别针对同一场景不同光照条件、拍摄角度、焦距的光学图像，采用本文算法进行匹配，测试匹配效果。

（1）检测算法对光照变化的适应能力
分别采集了同一场景不同光照条件下的两幅图像进行特征匹配，检验本文算法对于光照变化的适应性。结果如图4.7所示。

（2）检测算法对旋转变化的适应能力
分别采集了通过一场景下不同角度拍摄的图像，检验本文算法对旋转变化的适应能力。结果如图4.8所示。


图4.7 不同光照条件下图像匹配结果图图4.8不同角度下图像匹配结果图

（3）检测算法对缩放变化的适应能力
分别采集了同一场景不同焦距条件下的图像，检验本文算法对于缩放的适应能力，结果如图4.9所示。

（4）检测算法对旋转、缩放和光照条件都发生改变的适应能力
分别采集了同一场景不同光照条件、不同拍摄角度以及不同焦距条件下的图像，进行自动匹配，来测试本文算法的效果，结果如图4.10所示。





图4.9 不同焦距图像间的匹配

图4.10不同光照、角度、焦距下图像间的匹配

由上面的实验结果可知，本文的改进算法在图像发生光线变化、旋转以及缩放的情况下，都能有效地提取特征点并有较高的匹配精度。

4.2 运动轨迹提取算法

4.2.1 算法模型
①选取一定帧率的相机，以保证在相邻的两幅图像中存在同一特征点。

②在运动过程中，相机与目标的相对位置及拍摄方向是保持不变的。

③图像坐标系和目标坐标系之间的关系在系统运行时进行了相应的标定。

④同时在运动之前认为初始的目标坐标系就是路面坐标系，所有后续的轨迹延拓都是在该坐标系上延伸的。

P N



P 0

P 1





图4.11车行轨迹图示

如图所示，设运动目标从Px 00 ,yz 0)点出发至某点PN(xN,yz N)，中间采

集到了N帧图像，通过对这N帧图像进行特征提取和特征匹配，提取目标在两

帧图像之间所运动的图像坐标系中的X轴和Y轴的变化量xi和yi及行驶变化

方向，然后通过空间坐标系的变化，最终由式（3.9）可以得出(xw,yw,zw)T。利

用相对测距原理，可以得到车行轨迹如下：

x

N

i1

x

w

，

y

N

i1

y

w

，

z

N

i1

z

w

（4.17）

4.2.2实验验证与分析

为了体现此改进算法匹配精度的优越性，本实验用高速CCD相机拍取路面

图像并进行闭合曲线运动。

看出，在采集图像的过程中，由于地面图像其本身特征点多、乱、灰度变化不明在采集到的地面原始图像中提取SIFT特征点，如图4.12 所示，从图中可以

（图4.14）可以看出这些孤立点和噪声影响到了特征匹配精度。从图4.15的匹

配结果来看，可以凸显本文的匹配方法的优势。

图4.12 相邻两帧地面原始图像




图4.13 对原始图像提取出的特征点



为了进一步验证本文在测算旋转方向上的优势，固定相机，使其围绕某一个

点做闭合曲线运动，结果如下所示：

1000

-1000

-1500-500

500

0

-200 0 200 400 600 800 1000 1200 1400 1600 1800

图4.16 相关匹配轨迹提取结果

800

-1000
-200

-400

-600

-800

600

400

200

0

-200 0 200 400 600 800 1000 1200 1400


图4.17常用的SIFT特征匹配轨迹提取结果




800

-1000
-200

-400

-600

-800

600

400

200

0

-200 0200 400600 800 10001200 1400

图4.18本文方法轨迹提取结果

从图4.16，4.17，4.18来看，常用的图像匹配技术很难画出一条闭合曲线，

同时因图像误匹配，轨迹曲线并不显得十分光滑，存在线的缠绕。而本文所提出

的轨迹提取系统可以很好地画出一条闭合曲线，曲线相对光滑，且几乎不存在线

的缠绕。

为了进一步验证本文轨迹提取的精度优势，将相机固定在车上，让车沿一条

斜线行驶，车身方向行驶80m，车身垂直方向行驶1m，经本系统轨迹提取后，

车身方向行驶了79.88m，车身垂直方向行驶了1.02m。为此可以看出本文组建的

100

80

60

40

20

0

0

1000

2000

3000

4000

5000

6000

7000

8000

图4.19实际的目标轨迹图示

4.3实际运动轨迹提取实验分析

基于视频图像序列的目标运动轨迹提取系统具备图像采集、图像处理、目标

轨迹提取以及数据存储的功能。为了体现本系统的优越性，

取进行验证实验。利用车载相机获取地面图像，并计算车行轨迹。



实验场地选在某驾驶员培训学校的训练场地，场地图像如图4.20所示：

图a 曲线行驶 图b 直角弯行驶

图4.20 实验场地路面图像

业相机、VS-1614M 镜头，CS-ARS-02 角速率陀螺仪、Intel PWLA8492MT 千兆
实验所用的器材和设备：长城皮卡汽车、高速摄影的MV-VS030 FM / FC 工

地面图像。 为了进一步体现本系统提取目标运动轨迹的精度，下面针对皮卡车的曲线行
驶以及直角弯行驶做实际运动轨迹提取实验并进行结论分析。

（1）曲线行驶
在固定场地内，皮卡车按照半径为5 米，弧长为八分之三个圆周，路宽为3.5 米的规定路线进行曲线行驶，如图4.21 所示。本系统在皮卡车的运动起始点开始实时采集图像并计算其运动轨迹，并将提取出的运动轨迹曲线进行畸点平滑，实验结果如图4.22 所示。





图4.21车辆曲线行驶路线示意图


图4.22 车辆曲线行驶轨迹

由图4.22可以看出，经本系统轨迹提取后，车的运动轨迹在最大弯度的半径是5.350m，车的实际运动轨迹在最大弯度的半径是5.355m，由此可得本系统的轨迹测算和提取具有较高的精度。

（2）直角弯行驶
在固定场地内，皮卡车在路宽为3米的路上直线行驶9米，然后拐直角弯行驶7米，如图4.23所示。本系统在皮卡车的运动起始点开始实时采集图像并计算其运动轨迹，并将提取出的运动轨迹曲线进行畸点平滑。如图4.24所示。





图4.23车型轨迹示意图



图4.24车辆直角弯行驶轨迹

由图4.24可以看出，经本系统轨迹提取后，车的运动轨迹向前行驶了9.010米，车身垂直方向运动了0.550m。车的实际运动轨迹向前行驶了9.013m，车身垂直方向运动了0.552m。转过直角弯经本系统轨迹提取后，车向前行驶了7.051m，车身垂直方向运动了1.052m。车的实际运动轨迹向前行驶了7.051m，车身垂直方向运动了1.053m。

由上述实验可以看出，基于视频图像序列的目标运动轨迹提取系统在目标运 动轨迹的测算和提取上具有较高的精度，无论目标直行还是拐弯或者随意行驶，



本系统在目标运动轨迹测算和提取具有较高的精度。

4.4本章小结

本章讨论了目标运动轨迹提取算法，首先分析了基于多目标优化的SIFT特

征匹配算法，研究了多目标优化理论及优化模型的构建，建立了以相关系数和特

征点之间的欧氏距离为目标函数，以置信度为约束条件的多目标优化模型，并通

过实验仿真对本文提出的算法模型进行验证。最后研究了实际运动轨迹提取并进

行了实验验证。







5结束语

5.1论文工作总结

本课题主要围绕相机固定在目标体上的基于视频图像序列的目标运动轨迹

提取技术展开研究，并对其中的关键仿真算法进行深入研究，进而为目标运动轨

迹提取系统的搭建提供了理论基础。针对其中的关键技术和难点问题，本文重点

研究了基于多目标优化的SIFT特征提取及匹配算法、目标姿态实时获取技术、

以及目标运动轨迹的测算，从而实现目标运动轨迹的精确提取。

现将本文的成果总结如下：

（1）基于视频图像序列的目标运动轨迹提取系统

在研究了系统软件结构的基础上，并结合对特征提取及匹配算法和目标运动

轨迹提取技术的研究完成了基于视频图像序列的目标运动轨迹提取系统的搭建。

的功能，通过实验可以得知，该系统操作简便并具有较高的目标运动轨迹提取精
该系统融合了视频采集和显示、 车行轨迹计测算和提取以及数据存储

度。

标优化的SIFT特征匹配改进算法，利用特征点之间的欧氏距离和图像间的相关

系数建立目标函数，并利用置信度作为约束条件。经仿真实验验证该算法可以有

效地提高图像特征匹配精度，具有较好的鲁棒性和可靠性，为后续的工作奠定了

理论基础。

（3）目标运动轨迹提取技术仿真

为了更精确反应目标的运动轨迹，通过目标提取和目标匹配技术提取当前图

像相对于前帧图像的变化距离和变化角度，然后利用空间坐标系的转换以及相关

数学模型，对目标运动轨迹进行测算。同时针对外界复杂多变的自然环境，本文

利用陀螺仪实时获取相机姿态并进行校正，最后经实验仿真，验证了该算法模型

的正确性和有效性。





5.2论文创新点

基于上述研究成果，本文的主要创新点有：
(1)成功地对特征提取和匹配算法做了改进，并提出基于多目标优化的SIFT特征匹配算法，该算法充分利用SIFT特征点信息以及特征点邻域的灰度信息，有助于提高特征匹配精度及稳健性。

(2)研究了相机理论测量分辨率，在相机理想线性成像模型的基础上，根据相机 计算实验所需要在运动过程中，特征区域在上一帧图像和当前图像的变化情况，
的相机参数，焦距、成像范围、分辨率以及成像速度，并以此为依据选取CCD相机。

(3)成功地通过惯性测量系统完成对目标运动姿态的实时校正。该方法是在由陀螺仪获取相机姿态参数的基础上，结合相应的空间坐标转换模型，实现相机姿态的实时校正。

5.3展望
在以下几方面仍需要进一步研究：
（1）挖掘特征提取和匹配算法中的有关影响因素，完善算法对各种外界自然环
境的适应性和鲁棒性，进一步提高算法的速度和精度，进而使得该算法可以更好
地满足实时需求。

（2）建立一种可以预测目标运行轨迹的数学模型，根据若干相邻帧图像间的相互关系，预测下一帧图像与当前帧图像的距离以及角度的变化趋势，进而对目标运行轨迹进行预测。

（3）该项技术经过进一步开发可以应用到驾驶员机动车考试中，通过记录车行轨迹对考生的驾驶技能给予评判。



因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文