[熊友军05]跟踪注册的增强现实技术研究[J]

发布时间：

第4期　熊友军等:跟踪注册的增强现实技术研究　・81・
跟踪注册的增强现实技术研究
熊友军,李世其,柳祖国
(华中科技大学机械科学与工程学院,湖北武汉430074
3
摘　要:首先对基于单摄像头跟踪注册的增强现实的注册原理进行了探讨,分析了其通过图像匹配识别标志物的原理,总结了其运行流程,并在OpenGL平台上开发出了基于增强现实技术的虚拟训练原型系统。关键词:跟踪注册;标志物识别;流程
中图法分类号:TP391141　　　文献标识码:A　　　文章编号:100123695(20050420081203
ResearchonAugmentedRealityofTrackingRegistration
XIONGYou2jun,LIShi2qi,LIUZu2guo
(SchoolofMechanicalScience&Engineering,HuazhongUniversityofScience&Technology,WuhanHubei430074,China
Abstract:Theprincipleofaugmentedrealityofsinglecameravision2basedwasinvestigatedandtheprocessofmarkeridentifywasandlyzedthroughpatternmatching.Basedonthediscussofthetrackingregistrationflowframeofaugmentedreality,virtualtrainingprototypesystemwasdevelopedunderOpenGLlibraryaftersnatchingfigurefromsinglecamera.Keywords:TracingRegistration;MarkerIdentity;Flow
　　增强现实是借助显示技术、交互技术、多种传感技术和计算机图形与多媒体技术把计算机生成的虚拟信息合成到用户感知的真实世界中的一种技术,其目的是实现对现实世界信息的补充,使用户从感官效果上确信虚拟环境是周围真实环境的组成部分。增强现实技术具有虚实结合、实时交互和三维注册的特点,因而是一种非常理想的人机交互方式,在机器人远程控制、军事训练、医学、商业和娱乐等方面具有广泛的应用前景
[1～3]
个问题已经得到了很好的改善。
1.1　摄像头位置和方向的确定
在基于单摄像头跟踪注册的增强现实系统中,其注册问题涉及到多个坐标系之间的变换过程。虚拟物体本身具有一个坐标系,而在计算机上绘制虚拟几何物体的时候,需要设定一个图形相机坐标系。从真实场景坐标系到摄像机坐标系的变换过程,是通过摄像头采集图像,将真实场景中的三维物体的图像转换为二维图像显示在摄像机的成像平面上的过程。其中需要相机的参数作为已知条件,通过坐标变换确定相机坐标系和真实场景坐标系之间的转换关系的过程就是增强现实系统的跟踪过程,即实时计算出相机在真实场景中的位置和姿态。而确定虚拟物体在真实场景中的确切位置的过程,是增强现实系统的注册过程。
为了获取摄像头的位置和方向,必须得到从标志物坐标系到相机坐标系的变换矩阵。标志物的坐标系放置在标志物的
中心,如图1所示。变换矩阵为公式(1所表示的3×4矩阵。这个变换矩阵由一个旋转矩阵V3×3和一个平移矩阵W3×1组成。它将通过对标志物图像分析得到。
。根据目前的研究进展,基于视觉跟踪注册的方法大体
可以分三类:①已知单幅图像中三个或三个以上匹配点进行跟踪,文献[4]提出了该算法。②从运动摄像机拍摄到的序列图像或是从拍摄到的运动目标序列图像进行跟踪,通过运动目标的序列图像来研究运动目标的运动特征。③采用模板匹配的方法,即将从不同视点提取真实环境的图像作为寻找真实环境的数字化图像的模板,然后将虚拟物体添加到真实环境中,完成注册[5]。
1　增强现实系统的单摄像头跟踪注册原理
增强现实系统需要实时地检测出摄像机相对于真实场景的位置和方向角,以便能够根据这些信息实时确定所需要添加的虚拟三维模型在真实世界中的正确位置,这就是增强现实系统的注册所要完成的任务。
基于视觉的跟踪技术是建立在现代计算机技术和图像处理技术的基础之上的,它通过对给定的一幅或多幅图像来分析确定摄像机和真实世界中目标的相对位置和方向。因而这种系统不需要复杂的跟踪设备,往往只需要一个或两个摄像机即可。这类系统的特点就是需要进行比较复杂的计算,这往往会导致系统的延迟比较大。但是随着计算机硬件技术的发展,这收稿日期:2004203211;修返日期:2004206209
基金项目:国家软件和集成电路引智专项基金资助(RJZ2002030
图1　相机坐标系与标志物坐标系的转换关系示意图
　　Xc
　　
YcZc
V11V12V13WxXmYmZm
Xm
=
V21V22V23WxV31V32V33Wx
=
V3×3W3×1YmZm
0001
(1
10　0　0　111
©1994-2006ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.http://www.cnki.net

・82・计算机应用研究2005年
在相机的定标过程中,可以得到相机的透视投影矩阵P,表示如下:
sxf
ksyf
x0y0
P=
000
0010
0001
(2
其中,f为相机的焦距,sx,sy分别为x轴、y轴方向的比例因子,
k为一个参数,这可以在相机的校准过程中得到。相机的透视
图2　根据直方图进行阈值选择
投影矩阵实际就是从相机坐标系到相机成像平面坐标系的转换矩阵。这个矩阵是相机坐标系和标志物坐标系之间转换的桥梁,可以推导出标志物坐标系到相机坐标系的变换矩阵,实现注册。
由于标志物的大小已知,即标志物的四个顶点在标志物坐标系下的坐标已知。同时,在图像处理过程中可以得到相机像平面上的四个顶点的坐标。在确定了变换矩阵中的旋转矩阵
V3×3之后,根据四个顶点在标志物坐标系下的坐标和在像平面
在图像中当图像和背景的灰度值之差很大的时候,图像的　　
灰度直方图具有明显的双峰性,这时候状态法很适用。在基于单摄像头跟踪注册的增强现实系统中,图像的主要部分是被识别的标志物。由于标志物是黑白两色的图像,所以其图像和背景的灰度值具有很大的差别,灰度直方图具有明显的双峰性。
图3是采集的一幅标志物的图像,从灰度直方图上可以看出,灰度直方图上有明显的谷底,表示图像的背景和物体有很明显的区分,所以采用状态法对图像进行阈值分割有一定的可行性,结果也表明这是可行的。
中的坐标就可以计算出从标志物坐标系到相机坐标系的转换矩阵,即相机的姿态。另外,由于标志物的矩形方框中的图像是有方向的,利用它的方向就可以确定相机的方向。
1.2　标志物的识别
在增强现实系统的输出中,需要输出一些虚拟信息(本文中为三维模型。系统提取到标志物的信息之后,需要利用事先确定好的对应关系来将标志物和三维模型对应起来,才能够在视频流中输入正确的三维模型,实现增强。这就涉及到对标志物的识别问题。本文所用到的标志物识别是利用模式识别的方法对标志物进行图像匹配得到标志物的ID。
在基于图像处理的增强现实系统中,对标志物进行识别的过程就是将标志物从背景中抽取出来的过程。这种从图像空间中按照一定的要求把其中有意义的区域分离出来的技术就是图像分割。可以根据像素的灰度等特性判别哪些像素属于背景,哪些属于物体,即图像的阈值分割技术。
阈值分割是基于图像的灰度值的相似性原理的,它也是图像分割技术的最重要的方法之一。假设灰度直方图与一幅图像f(x,y对应,该图像由位于亮背景上的暗物体构成,并且组成物体和背景的像素构成其两个主要的模式。从图像的背景中提取物体的一个很显然的方法就是选择一个阈值T来将这两个模式分开。对于任意一点(x,y,如果其灰度值f(x,y≥
T,则可以认为该像素点为背景点,否则,认为该点为物体点。
图3　一幅随机图像及其灰度直方图
　　从这幅图像的灰度直方图上分析可以看出,图像的灰度直
方图的谷底并不是一个单一的点,而是一个区间(100,120。这说明,对于此幅图像而言,选择这个区间内的任意一个值作为阈值,都可以成功地利用阈值分割技术将图像分割开来。但是由于系统实时性的要求,不可能对于从摄像头采集到的每幅图像一一计算出图像的灰度直方图后再选择阈值进行分割。虽然,从理论上说这是最合理的。为了提高系统的计算速度,使得系统具有更好的实时性,需要采用一个固定的阈值来进行分割,也就是对所有的图像都采用这一阈值进行阈值分割。
从理论上分析,这个阈值应该是所有图像的灰度直方图谷底区间的交集,在实际的实施过程中,采集到所有的图像是不现实的,也是不可能的。所以,本文中选用十幅在不同光照环境下的图像进行分析,分别计算出其灰度直方图谷底区间,然后在其交集里面选择合适的阈值,如图4所示。
一幅经过阈值化处理的图像可以定义为　　g(x,y=
10
f(x,y<Tf(x,y≥T
(3
被标记为1的像素成为物体,而被标记成为0的像素则相应成为背景。当T只依赖于f(x,y时,阈值T为全局阈值;如果T不仅与f(x,y相关,而且与P(x,y相关,则阈值T为局部阈值;如果T与空间坐标(x,y有关,则称阈值T为动态的。阈值的选择很重要,阈值选择过高,则部分属于物体的像点会误划分为背景;阈值选择过低,则部分属于背景的像点会误划分为物体。
本系统中采用状态法确定阈值T。所谓状态法就是求出给定图像的直方图,在具有两个峰值(对应于对象图形和背景分布的情况下,可以在这两个山峰中间谷的地方决定T。根据直方图选择的阈值如图2所示。
图4　灰度直方图谷底区间分布图
本文所采集的十幅图像是在不同的光照环境中采集的,然　　
后分别求出这十幅图像的灰度直方图。从灰度直方图上读取各自的谷底区间,用图中的线段来表示。不难看出,对这些谷底区间的取交集,结果不是空集。本文在这个交集中选择110灰度级作为阈值分割的阈值,实验结果也表明这一取法是可行的,可以很好地区分标志物及其背景。
113　图像匹配
图像匹配是图像处理中的一个重要的研究方向。本文采
©1994-2006ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.http://www.cnki.net

第4期　熊友军等:跟踪注册的增强现实技术研究　・83・
用灰度图像模板匹配方法来进行标志物与虚拟物体的匹配。当输入某个模式时,判别该模式与标准模式中最接近的一个。这里的模式指的是图像。对于接近程度的描述需要一个尺度,常用的是借助于向量的范数来描述。
假设输入模式为x,ω类的模板及其标准模式为cω,利用
Euclid距离来衡量其接近的程度。
ω　　　dω(x=‖x-cω‖
(4
由于系统的实时性要求很高,在不影响增强效果的前提下,不需要做混合处理等操作。本文中的增强现实系统是采用常规显示器作为输出设备。
3　原型系统及应用
在已往的虚拟现实技术研究中,已经把虚拟现实技术应用于虚拟训练系统中,如航天器的模拟、汽车驾驶训练等。但是虚拟现实系统毕竟是虚拟的环境,与真实的环境还具有一定的差异。增强现实系统具有虚实结合的特点,利用增强现实系统可以采用动画的形式对真实的环境进行注解,使得用户能够很快学会操作。对于贵重设备,系统复杂,操作人员操作步骤多、难以迅速掌握,而且可能会由于操作不当而损坏设备,因此开发基于增强现实技术的虚拟训练系统十分必要。
这里‖

[熊友军05]跟踪注册的增强现实技术研究[J]

推荐内容

相关推荐