机器人双目视觉跟随系统研究

VIP免费
3.0 牛悦 2024-11-19 4 4 2.14MB 79 页 15积分
侵权投诉
摘 要
运动是视觉研究的一个重要方面，在工业过程控制、车辆导航、飞行目标跟
踪、交通监测等应用中都存在着大量运动视觉问题。随着计算机性能以及CCD等技
术的不断发展，再加上人们对静态图像处理经验的积累，使得通过计算机对运动
图像的分析成为研究的热点。
目前，很多专家在运动图像的分析上已取得了很大的成就，但在三维运动结
构估计中，很少有人研究三维空间对运动目标的跟踪定位。将计算机视觉中立体
和运动相结合，对获得的序列图像完成运动目标空间位置的定位和跟踪，对计算
机视觉来说是一个巨大的挑战，值得深入研究。基于此，提出了本课题—机器人
双目视觉跟随系统研究。
本文将立体和运动结合起来，设计一个双目实时跟踪系统，使机器人能够对
物体进行实时跟踪。详细地分析了实时跟踪系统所涉及的摄像机标定、运动分割、
图像匹配、运动参数的计算以及运动估计等关键技术，并给出它们的相关算法及
实验。这些工作为该系统的进一步研究奠定了坚实的基础。
本系统的研究为动态跟踪运动物体提供了一个合理易行的解决方案，无论在
单目或双目视觉下都实现了机器人动态跟踪运动的物体，随着物体的移动而移动。
此方案为三维空间对运动目标跟踪定位做出了有意义且有实用价值的尝试。
关键词：摄象机标定 SIFT特征匹配 Camshift 三维运动分析
ABSTRACT
Motion is an important part in vision study. And motion vision is involved in many
industrial applications such as procedure control, vehicle navigation, flight object
tracking, traffic monitoring. With the development of computer performance and CCD
technology and accumulation of image processing experience, motion image became a
hot topic of study today.
Many positive results were achieved in analyzing motion image. But few people
have studied tracking location of moving object in three dimensions space movement
structure evaluation. Combine stereo and motion of computer vision, locate and track
movement object space position for sequence image is a big challenge for computer
vision. Based on these, a study of robot binocular vision tracking system was put
forward.
This dissertation introduces the implementation of a real-time motion tracking
system based on stereo vision for an industrial robot. Generally study three dimensions
sequence image which relates to the key contents such as movement segmentation ，
video camera calibration，image match，feature corresponding，calculation of three
dimensions objects movement parameters ，objects movement evaluation and so on.
Give out all algorithms above-mentioned key sections and relevant tests. These
substantial theory and test base are founded in the further research and practicability of
the system.
This study provides a feasible method for robot dynamic tracking movement object,
which can be realized in monocular and binocular vision. The method is regarded as a
worthy step of tracking location of movement object in three dimensions space.
Key words: Camera calibration, SIFT Features matching, CamShift,
Three dimensions movement analysis
目 录
中文摘要
ABSTRACT
第一章 绪论.....................................................................................................................1
§1.1 本课题的研究背景............................................................................................1
§1.2 研究问题的提出和意义...................................................................................3
§1.3 论文研究的目的及主要内容............................................................................4
第二章 机器人双目视觉跟随系统软硬件组成.............................................................5
§2.1 硬件组成............................................................................................................5
§2.2 软件组成............................................................................................................7
第三章 视觉图像处理的基本内容...............................................................................10
§3.1 视觉图像处理方法分类..................................................................................10
§3.2 图像滤波..........................................................................................................10
§3.2.1 中值滤波 ................................................................................................... 11
§3.2.2 数学形态学滤波 ....................................................................................... 12
§3.3 图像的增强和锐化..........................................................................................13
§3.4 图像分割..........................................................................................................14
本章小节..................................................................................................................15
第四章 运动目标检测...................................................................................................16
§4.1 序列图像的运动分析......................................................................................16
§4.1.1 运动目标的视觉原理 ............................................................................... 16
§4.1.2 运动目标的检测 ....................................................................................... 17
§4.2 提出假设..........................................................................................................19
§4.3 预处理..............................................................................................................19
§4.4 运动目标的分割定位......................................................................................23
§4.4.1 差分图像 ................................................................................................... 23
§4.4.2 阈值分割 ................................................................................................... 25
§4.4.3 后处理 ....................................................................................................... 26
§4.4.4 运动目标的定位 ....................................................................................... 27
本章小节..................................................................................................................29
第五章 双目摄像机定标...............................................................................................31
§5.1 摄像机的成像模型..........................................................................................32
§5.2 双目模型..........................................................................................................34
§5.3 摄像机标定方法..............................................................................................35
§5.4 运动物体特征点三维坐标计算......................................................................38
§5.5 试验及结果分析..............................................................................................40
本章小节..................................................................................................................44
第六章 基于 SIFT 特征的图像匹配和三维重构.........................................................46
§6.1 SIFT 特征匹配 ................................................................................................ 46
§6.1.1 尺度空间理论 ........................................................................................... 46
§6.1.2 DoG(Difference-of-Gaussian)算子 ...........................................................47
§6.1.3 SIFT 特征匹配算法 ..................................................................................47
§6.1.4 实验结果 ................................................................................................... 50
§6.2 三维重构.........................................................................................................51
本章小节..................................................................................................................53
第七章 物体三维运动参数估计...................................................................................54
§7.1 刚体运动的描述..............................................................................................54
§7.2 旋转变换的表达..............................................................................................55
§7.3 运动分析..........................................................................................................60
§7.3.1 单目视觉运动分析 ................................................................................... 60
§7.3.2 双目视觉的运动分析 ............................................................................... 63
§7.4 目标的运动佑计..............................................................................................65
§7.5 实验结果..........................................................................................................67
§7.5.1 单、双目视觉运动分析实验 ................................................................... 67
§7.5.2 运动物体状态预测估计 ........................................................................... 68
本章小节..................................................................................................................69
第八章 总结与展望.......................................................................................................71
参考文献.........................................................................................................................74
在读期间公开发表的论文和承担科研项目及取得成果.............................................76
致 谢.............................................................................................................................77
第一章 绪论
1
第一章 绪论
§1.1 本课题的研究背景
视觉是人类观察和认知世界的重要手段。据统计，人类从外部环境获得的信
息约有80%是由视觉获取，并通过眼睛与大脑来获取、处理和理解的视觉信息。人
的眼睛从周围的环境获取大量信息，传入大脑后由大脑根据知识和经验对信息进
行加工、推理等工作，最后识别、理解周围的环境。计算机视觉就是用计算机模
拟人眼的功能，从图像或图像序列中提取信息，对客观世界的三维景物和物体进
行形态和运动识别。机器人视觉系统的基本结构如图1.1所示：
图1.1 机器人视觉系统的基本结构
计算机视觉是20世纪50年代从统计模式识别开始的，当时的工作主要集中在
二维图像分析、识别和理解上，如光学字符识别、工作表面、显微图片和航空分
析和解释等。20世纪60年代开始了立体视觉的开创性研究，美国麻省理工学院的
Roberts完成了三维景物分析的研究 [1]，他的工作把过去的二维图像分析推广到三
维景物分析，这标志着立体视觉技术的诞生。在随后的二十年中它迅速发展并形
成了一门新的学科。到70年代，已经出现了一些视觉应用系统[2]：1973年，英国的
Marr教授应邀在麻省理工学院(MIT)的人工智能实验室创建并领导了一个以博士
生为主的研究小组，从事视觉理论方面的研究。1977年，Marr提出了不同于“积
木世界”分析方法的计算机理论——Marr视觉理论，该理论在20世纪80年代成为
计算机视觉研究领域中的一个十分重要的理论框架[3]。经过多年的发展，在Marr
的理论框架下，计算机视觉取得了很多成果。但随着计算机视觉研究的不断深入，
人们发现了马尔视觉理论的局限性，即从景物图像或序列图像中求出景物精确的
三维几何描述，并定量的确定景物中物体的性质时遇到了困难[4]。Gibson指出：感
知是一种行动，不仅仅是一种被动式的反应，计算机视觉也应该朝着主动视觉的
方面发展。
上世纪80年代中后期，随着移动式机器人等相关应用的研究，视觉研究与之
密切结合，因而大量运用空间几何的方法以及物理知识来研究立体视觉，这一时
期引入了主动视觉的研究方法，并采用了距离传感器以及引入融合技术等。由于
这种研究方法可直接取得深度图或通过移动获取深度图，因而使很多病态问题变
图像 特征检测 ·重建 ·识别
底层
处理
位置
形状
物体描述
机器人双目视觉跟随系统研究
2
成良态的。此外，在视觉的研究中重视了对定性视觉、有目的的视觉等研究 。上
述这些理论和方法的研究有力地促进了相关应用的发展，这些应用领域包括对照
片特别是航空照片和卫星照片的解释、精确制导、移动机器人立体视觉导航、医
学辅助诊断、工业机器人的手眼系统、地图绘制、物体三维形状分析与识别以及
智能人机接口等[5]。在立体视觉的应用方面不乏成功的例子，如1996年日本成功研
制出利用双目视觉来指导机械手动作的樱桃番茄收获机器人[6]。
到上世纪90年代初，关于立体视觉的研究在许多方面开始趋于成熟。最近十
多年来，计算机视觉在各个领域中得到广泛应用[7]，同时基于多视几何的视觉理论
也得到迅速发展[8]。
我国的机器人立体视觉发展正处于方兴未艾的阶段，无论是工业 、农业还是
军事领域都显示出广阔的发展前景。在视觉理论上，王天珍教授在总结现有视觉
模型的基础上，将主动视觉模型与机器人立体视觉模型相结合，提出一种版式并
行检索模型[9]。该模型既能描述生理视觉过程又能用来指导机器人完成视觉功能，
这个模型能解释不少神经生理学和认知心理学现象，其计算机模拟的结果也是令
人鼓舞的[10]。各大高校也正加大机器人立体视觉研究的力度，其中由清华大学率
先研究开发的拟人机器人TBIPR-1，采用最为典型的平行双目立体视觉系统[11]设计
指标为：具有多关节手足运动、视觉、触觉和听觉功能的双腿机器人，身高1.60
米，体重100-200公斤，能在内部动力驱动下，根据视觉、触觉和听觉自主实现步
行、慢跑、跨越障碍运动、拾取物体以及其它人类较高级运动。可以预计，我国
飞速发展的经济将为机器人立体视觉技术的发展提供更加广阔的应用需求，反过
来，机器人立体视觉技术的发展将更加有利于我国工业经济的发展和人民生活水
平的提高。
回顾计算机视觉的研究历史，可以看到两条相当清晰的主线：理论与方法研
究和应用研究。前者从纯学术的角度出发，研究模拟人类视觉的各种理论与算法，
后者从实际问题出发，研究识别、检测等问题。视觉监控是计算机视觉领域当前
的一个新兴的应用研究方向，在视觉监控系统中，摄像机作为人类视觉的延伸，
它不仅代替人眼，而且用计算机代替或协助人来完成监视任务。计算机在不需要
人为干预的情况下，通过对摄像机拍录的图像序列进行自动分析，实现对场景中
目标的识别、定位和跟踪，并在此基础上分析和判断目标的行为，从而做到既能
完成日常管理又能在异常情况发生的时候及时做出反应。视觉监控主要涉及摄像
机标定、物体识别、运动分割、三维物体的运动估计与跟踪、多摄像机结合、高
层语义理解等内容。由于视觉监控具有广泛的应用前景和潜在的经济价值，引起
了国际上许多著名科研机构以及研究人员的兴趣，特别是美国9.11事件更使视觉监
第一章 绪论
3
控显得日益迫切，世界各国纷纷将其列入重要的研究计划。计算机视觉领域中的
权威期刊“国际计算机视觉期刊(IJCV，International Journal of Computer Vision)”
和“IEEE模式分析和机器智能汇刊”
(PAMI，
IEEE Transaction on Pattern Analysis &
Machine Intelligence)相继在2000年6月和2000年8月出版了关于视觉监控的专刊，收
录了大量视觉监控领域内的最新研究成果。
§1.2 研究问题的提出和意义
运动是视觉研究的一个重要方面，这是因为即使在简单的动物身上都存在着
复杂的观察、跟踪以及利用运动信息的功能。例如，蚊子可以跟踪运动物体并发
现目标与背景之间的相对运动，即使在物体与背景纹理相同的情况下，它也能很
好地捕捉到目标信息。如果没有相对运动，就很难有背景和目标的区分。在广泛
的诸如工业过程控制、车辆导航、飞行目标跟踪、卫星云图的分析预报、交通监
测等应用需求中也存在着大量运动视觉问题。随着计算机性能以及CCD等技术的
不断提升，再加上人们对静态图像处理经验的积累，已使得通过计算机对运动图
像的分析成为一个研究热点。
立体视觉经过30多年的研究，虽然有了很大的发展，但从实际应用方面来看，
现有的立体视觉技术还不是很成熟。立体匹配作为立体视觉的核心，在理论上和
技术上都存在着很多问题。如何选择合理的匹配特征，以克服匹配准确性与恢复
视差全面性间的矛盾；如何选择有效的匹配准则和算法结构，以解决存在严重灰
度失真、几何畸变（透视、旋转、缩放等）及遮挡景物的匹配问题；如何建立更
有效的图像表达形式和立体模型，以便更充分地反应景物的本质属性，为匹配提
供更多的约束信息，降低立体匹配的难度等问题都还有待人们去解决。在摄像机
标定、立体匹配获取、摄影机标定方法的确定、摄影机的性能，景物的特点等方
面也是值得研究的问题。
运动图像分析要解决的主要问题包括运动分割、目标运动与结构估计、目标
跟踪、序列图像数据压缩等。早期的运动图像分析主要是基于二维运动的图像分
析，而智能机器人、自主车等新的应用领域要求有三维视觉功能，由此形成了基
于三维运动的图像分析。研究该问题的方法有光流法和特征法：光流方法的缺点
是光流的计算存在较大的噪声和误差，附加约束条件的不完善等因素，使得从有
噪声的光流中恢复物体的三维运动和结构存在着较大的困难；而特征法则完全依
赖对应问题(Correspondence Problem)，但该方法很难实现，以至许多进行三维运动
估计的研究都是在假设特征点对应已经解决的前提条件下展开的。在物体运动分
析中，获取物体结构参数以及目标识别等动态图像序列分析中的许多研究内容又
机器人双目视觉跟随系统研究
4
都涉及特征对应问题，可以说运动与对应性问题是无法分开的。
通过对图像序列处理获取运动目标的三维运动及结构信息是视觉的动态目标
跟随的核心内容之一。在三维运动结构估计中，很少见到在三维空间中对运动目
标跟踪定位的研究。将计算机视觉中立体和运动相结合，对所获得的序列图像完
成对监控运动目标空间位置的定位、测量以及其跟踪是本论文研究的目的。该问
题的研究对计算机视觉来说是一个巨大的挑战，值得深入探讨。
§1.3 论文研究的目的及主要内容
计算机视觉的主要研究目的是使计算机具有能通过对二维图像的分析认知三
维环境信息的能力。这种能力不仅包括能够感知三维环境中物体的形状、位置、
状态、运动等，还能够对它们进行描述、存储、识别与理解。
本文研究目的是通过双目视觉实时跟踪物体的运动状态以及图像序列处理获
取运动目标的三维运动及结构信息，并把物体的运动信息送给机器人，机器人得
到这些数据来对物体进行跟随，从而达到跟踪的目的。
研究的主要内容是：将计算机视觉中立体和运动视觉相结合，设计一个双目
实时跟踪系统，使机器人能对物体进行实时跟踪。
摘要：

摘要运动是视觉研究的一个重要方面，在工业过程控制、车辆导航、飞行目标跟踪、交通监测等应用中都存在着大量运动视觉问题。随着计算机性能以及CCD等技术的不断发展，再加上人们对静态图像处理经验的积累，使得通过计算机对运动图像的分析成为研究的热点。目前，很多专家在运动图像的分析上已取得了很大的成就，但在三维运动结构估计中，很少有人研究三维空间对运动目标的跟踪定位。将计算机视觉中立体和运动相结合，对获得的序列图像完成运动目标空间位置的定位和跟踪，对计算机视觉来说是一个巨大的挑战，值得深入研究。基于此，提出了本课题—机器人双目视觉跟随系统研究。本文将立体和运动结合起来，设计一个双目实时跟踪系统，使机器人能...

展开>> 收起<<
机器人双目视觉跟随系统研究.pdf

共79页,预览8页

还剩页未读， 继续阅读

相关推荐

更多
立即下载
作者：牛悦 分类：高等教育资料 价格：15积分 属性：79 页 大小：2.14MB 格式：PDF 时间：2024-11-19

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

推荐作者

热门标签

/ 79
评分 收藏
分享
立即下载 VIP免费下载
客服
关注