机器人双目立体视觉识别定位研究
VIP免费
摘 要
随着机器人智能化程度地不断提高，立体视觉系统作为与外界交换信息的重
要媒介，成为智能机器人系统研究的重要分支之一，目前已广泛应用于各个领域。
由于视觉系统的研究起步较晚加之视觉理论技术尚未成熟，因此至今未能形成一
套通用的视觉系统来获取环境中的信息；现阶段研究的视觉理论主要为具体场景
中的视觉应用提供解决方案。
本文在机器人双目立体视觉系统总体研究的基础上，重点对机器人目标识别
定位进行了深入的研究和探讨，其主要内容为：
对于机器人目标特征识别的研究，针对先验环境中不同目标物的固有特征，
提出了基于图像边缘检测和图像色彩分割的特征识别的视觉算法，基于MATLAB
平台比较验证，并分析误差来源(视觉系统主客观因素造成的误差)，最后得出结论：
图像边缘检测法适用于轮廓清晰的目标物；而彩色图像分割法适用于色彩差异较
大的目标物。经实验验证，以上两种视觉识别算法能够在特定条件下完成目标物
形状的识别。
对于机器人视觉系统定位的研究，首先研究机器人视觉系统标定技术，分析
比较了经典的张正友标定法和 TSAI 标定法；通过标定实验证明 TSAI 摄像头标定
法能够有效矫正影响视觉标定精度的畸变因素，具有较高的精度。机器人视觉定
位包括目标物的三维定位及机器人的自定位。基于设定的数字路标，通过特征识
别、立体匹配、深度恢复等一系列视觉处理工作，较为精确地实现了目标的三维
定位；并通过实验所得的数字路标坐标推导出机器人的坐标与方向角，从而实现
了机器人的自定位。
最后，总结了本文的主要工作、成果以及对今后研究工作的展望。
关键词：立体视觉 特征识别 三维定位 摄像机标定 机器人
ABSTRACT
With the development of intelligent robots, stereo vision system which is an
important media to exchange information with the outside world, has become an
important branch of intelligent robot system research and has been widely used in
various fields. Because of the late start of visual system coupled with immature visual
theory and technology, there has not formed a common vision system to obtain the
environment information, while visual theory mainly provided solutions for visual
application in specific conditions.
Based on the overall study of robot stereo vision system, this paper put emphasis
on researching location and identification of the robot, and its main contents are:
As for research of robot’s target feature recognition, this paper proposed feature
recognition visual algorithm based on image edge detection and image color
segmentation. After MATLAB validation and analysis of error sources, there came a
conclusion that image edge detection method is suitable for targets with shape rules and
clear boundaries, while color image segmentation method is suitable for targets with
bright colors and uniform intensity. Through experiment verification, these two visual
algorithms can recognize outline of the target at certain conditions.
As for research of robot’s visual system positioning, this paper firstly researched
vision system calibration technology, secondly analyzed and compared two classical
calibration methods which are Zhang and TSAI calibration, finally came to the
conclusion that TSAI calibration method can effectively correct distortion factors
influencing visual calibration accuracy. Robot visual positioning includes
three-dimensional target location and the robot self-localization. Through the feature
recognition, stereo matching, depth recovery and a series of visual processing algorithm,
the robot precisely realized three-dimensional positioning of the target and obtained the
coordinates of the robot and the direction angle by coordinates of landmarks derived
from experiments which based on number signs so as to achieving the robot
self-localization.
Finally, this paper summed up the main work, results of this paper and proposed
prospects for future research.
Key Words: Stereo Vision, Feature Recognition, 3D Positioning, Robot,
Camera Calibration
目 录
中文摘要
ABSTRACT
第一章 绪 论 .................................................... 1
§1.1 课题的来源及意义 ......................................... 1
§1.2 机器人立体视觉国内外研究现状 ............................. 2
§1.2.1 国内研究现状 ........................................ 3
§1.2.2 国外研究现状 ........................................ 4
§1.3 课题研究目的及内容 ....................................... 6
§1.3.1 研究目的 ............................................ 6
§1.3.2 研究内容 ............................................ 7
第二章 机器人双目立体视觉系统 ................................... 9
§2.1 双足机器人结构 ........................................... 9
§2.2 双目立体视觉的基本原理 .................................. 10
§2.3 机器人双目视觉的关键技术 ................................. 11
§2.3.1 双目视觉的主要任务 .................................. 11
§2.3.2 双目视觉的研究内容 ................................. 12
§2.4 本章小结 ................................................ 14
第三章 机器人目标形状识别 ...................................... 15
§3.1 图像采集 ................................................ 15
§3.2 图像边缘检测 ............................................ 15
§3.2.1 图像边缘检测概述 ................................... 16
§3.2.2 N次B样条微分算法研究 ............................. 16
§3.2.3 三次 B样条插值的图像边缘检测....................... 18
§3.2.4 边缘检测结果及分析 ................................. 21
§3.3 图像色彩分割 ............................................ 22
§3.3.1 彩色图像分割综述 ................................... 22
§3.3.2 RGB 色彩空间模型 .................................. 23
§3.3.3 基于直方图阈值化的色彩模糊聚类 ..................... 24
§3.3.4 颜色分割结果及分析 ................................. 27
§3.4 路标识别的技术理论 ...................................... 30
§3.4.1 路标概述 ........................................... 30
§3.4.2 基于路标的先验知识 ................................. 31
§3.4.3 背景复杂性及成因分析 ............................... 32
§3.5 数字路标识别 ............................................ 32
§3.5.1 数字路标形状识别 ................................... 33
§3.5.2 数字路标行列定位 ................................... 36
§3.5.3 数字路标分割识别 ................................... 37
§3.5.4 数字路标提取实验 ................................... 39
§3.6 本章小结 ................................................ 42
第四章 机器人视觉系统标定 ...................................... 43
§4.1 摄像机标定技术概述 ...................................... 43
§4.2 摄像机成像模型 .......................................... 44
§4.2.1 摄像机系统坐标系变换 ............................... 44
§4.2.2 摄像机成像模型 ..................................... 45
§4.2.3 成像角度 ........................................... 48
§4.3 摄像机标定方法 .......................................... 49
§4.3.1 张正友的基于移动平面模板的标定法 ................... 49
§4.3.2 TSAI 的考虑畸变补偿的两步标定法 .................... 51
§4.4 摄像头标定实验 .......................................... 54
§4.4.1 标定实验 ........................................... 54
§4.4.2 标定结果及误差分析 ................................. 57
§4.5 本章小结 ................................................ 58
第五章 机器人视觉定位研究 ...................................... 59
§5.1 机器人目标定位方法 ...................................... 59
§5.1.1 图像配准方法 ....................................... 59
§5.1.2 双目立体视觉方法 ................................... 60
§5.1.3 光投影方法 ......................................... 60
§5.2 字符深度信息提取 ........................................ 62
§5.2.1 双目视觉模型选取 ................................... 62
§5.2.2 立体视觉模型 ....................................... 62
§5.2.3 字符特征点匹配 ..................................... 64
§5.2.4 字符深度恢复 ....................................... 66
§5.2.5 数字路标定位实验 ................................... 67
§5.3 机器人自定位 ............................................ 70
§5.3.1 基于两个路标的自定位 ............................... 70
§5.3.2 基于多个路标的自定位 ............................... 71
§5.3.3 机器人自定位实验 ................................... 73
§5.4 机器人视觉导航 .......................................... 74
§5.5 本章小结 ................................................ 75
第六章 总结与展望 .............................................. 76
§6.1 全文总结 ................................................ 76
§6.2 研究趋势展望 ............................................ 77
参考文献 ....................................................... 78
在读期间公开发表的论文和承担科研项目及取得成果 ................. 82
致 谢 ......................................................... 83
第一章 绪 论
1
第一章 绪 论
§1.1 课题的来源及意义
随着机器人科学研究的不断深入，各国学者的机器人研究已从传统的工业机
器人逐渐转入服务智能型机器人，机器人已不再是单纯的步态规划、取放危险物
品等，而发展成为有多种感知能力的仿人智能化机器人，如视觉、听觉、日常交
流等人脑思维能力特征。其中视觉系统成为与外界交换信息的重要媒介，如同智
能机器人感知世界的窗口。因此，机器人视觉已得到长足发展，视觉处理过程[1]
可分为三个阶段，第一阶段(也称为早期阶段)是将输入的原始图像进行处理，抽取
图像中诸如角点、边缘、纹理、线条、边界等基本特征，这些特征的集合称为基
元图；第二阶段(中期阶段)是指在以观测者为中心的坐标系中，由 输 入图像和基元
图恢复场景可见部分的深度、法线方向、轮廓等，这些信息包含了深度信息，但
不是真正的物体三维表示，因此称为二维半图；在以物体为中心的坐标系中，由
输入图像、基元图、二维半图来恢复、表示和识别三维物体的过程称为视觉的第
三阶段。整个机器人视觉系统从最初的单目视觉发展成为双目以及多目视觉，从
传统的定向视觉发展成为全向视觉，从单一的视频采集处理板卡发展成为嵌入式
机器人视觉系统。根据现阶段的研究，机器人视觉系统的基本组成部分如图1-1所
示，包括硬件(传感器、数字化设备、信号处理器、计算机、机器人)和软件(计算
机软件、处理算法、控制软件)两部分，将硬件和软件相结合实现仿人眼的功能。
图 1-1 机器人视觉系统的组成
机器人视觉系统
硬件 软件
景物
和距
离传
感器
视频
信号
数字
化设
备
视频
信号
快速
处理
器
计算
机和
外设
机器
人或
机械
臂
计算
机软
件
视觉
处理
算法
机器
人控
制软
件
机器人双目立体视觉识别定位研究
2
目前，机器人双目立体视觉系统正成为国内外科研人员的研究焦点不仅仅因
为其具有较高的仿生特性，还由于它在各行各业中的广泛的应用。并且随着立体
视觉研究的不断深入，高精度，高速率的视觉算法已大大超越了机器视觉系统应
用本身，在实际应用中能够降低对系统硬件的要求，对硬件缺陷及不可避免的客
观因素带来的误差做出调整，大大提高整个机器视觉系统的适应性、灵活性、抗
干扰性等，具有广泛的科研及市场应用前景。本课题基于现有的双足机器人识别
数字路标的形状特征以及对数字路标定位的需求展开研究，将双目立体视觉应用
于机器人的导航避障，主要使用计算机软件处理视觉算法，能够较为精确地实现
双足机器人对数字路标的识别定位，为双足机器人的仿人化做了基础研究。
§1.2 机器人立体视觉国内外研究现状
机器人技术是近年来发展起来的新兴技术，属于交叉学科，是高新技术发展
的一个重要领域。从70年代开始，机器人在汽车工业、制造行业的应用日益广泛。
机器人的生产不仅提高了劳动生产效率，而且保障了人们的人身安全。随着传感
技术、计算机科学、人工智能及其它相关学科的迅速发展，固定于某一位置操作
的机器人不再能够满足各方面的需要，从而推动了移动机器人的发展， 目前研究
的大多数移动机器人都属于智能型机器人，如步行机器人General Electric
Quadruped，索尼的双足步行机器人“SDR-3X”，蠕虫机器人，蛇形机器人，虾行
机器人，Odetics公司的Odex机器人等。
目前国内外都在竞相开展有关机器人视觉的基础理论、基本技术以及应用方
面的研究工作。从移动机器人诞生开始，导航问题就贯彻其中。目前国内外研究
的导航方式多种多样，从适应不同的环境需要方面考虑，移动机器人的导航方式
可分为：基于环境信息的地图模型匹配导航；基于各种导航信号的陆标导航、视
觉导航和味觉导航等。同时，多传感器融合技术、多机器人协作技术、网络机器
人以及虚拟现实技术等是移动机器人导航领域的发展趋势；视觉导航主要完成障
碍物和陆标的探测及识别。这种能力将不仅使机器人能感知三维环境中物体的几
何信息，如形状、位置、姿态等信息，而且能对其进行描述、存储、识别与理解。
视觉导航信号具有探测范围宽、获取信息完整、灵敏度高、成本低等优点，所以
视觉导航已成为导航研究的大趋势，如足球机器人、医疗机器人等。图1-2所列出
的是应用于工业领域、服务行业、科研院校或机构的视觉机器人。
第一章 绪 论
3
a) 工业机器人 b) 服务机器人 c) 科研机器人
图 1-2 各领域的视觉机器人
§1.2.1 国内研究现状
国内对于移动机器人的研究起步较晚，大多数研究尚处于某个单项研究阶段。
我国有10多所高校和科研单位开展足球机器人研究，首届全国机器人足球比赛也
于1999年在哈尔滨工业大学成功举行，这标志着我国的多机器人系统技术正在迅
速发展。
清华大学智能移动机器人，涉及到基于地图的全局路径规划、基于传感器信
息的局部路径规划、路径规划的仿真、传感数据信息融合等技术、智能移动机器
人的设计与实现。
哈尔滨工业大学研制的轮式智能服务机器人能无缆行走、自动避障、识别语
音并能与人对话、用于服务场合的导游导购等；用于瓷砖及玻璃壁面清洗作业的
壁面清洗爬壁机器人也在哈尔滨工业大学研制成功，实现了高层建筑清洗作业的
自动化。
哈尔滨工业大学所研制的机器人向来在国内处于领先水平，在各种不同功能
的机器人中，功能齐全并且融合了视觉领域先进技术的是全自主足球机器人导航。
该机器人的视觉模型摒弃了传统的平行双目视觉模式，颇具创新地将固定摄像机
和水平旋转摄像机组合成双目视觉，又称为异构双目视觉系统。该视觉模型能够
全面监视不同方位的视点，有效扩大了视野范围，从而可以使机器人同时确定多
个目标点，利用最小二乘法计算可在一定程度上提高立体视觉系统的精度。
清华大学机器人视觉科研组研制的装配机器人的多传感器视觉系统。该机器
人的视觉系统是基于CAD三维模型所生成的，采用分层的多传感器的处理结构，
机器人双目立体视觉识别定位研究
4
其一、二、三 层 分 别实现不同的视觉功能，如图1-3所示，第一层实现识别的功能；
第二层实现定位跟踪的功能；第三层实现处理融合的功能。装配机器人视觉系统[2]
不仅仅需要具有实时性好的特点，还需要满足实际先验环境中的路径规划、多层
次的装配操作流程、以及对装配的零件进行精确定位与实时跟踪。
图 1-3 装配机器人视觉分层
中南大学蔡自兴等人针对未知环境中机器人视觉导航的自然路标检测，提出
了一种基于角点聚类的自然路标局部特征提取、不变性表示以及匹配算法，在一
定距离和角度变换下能够对路标进行正确识别。
近年来，国内针对机器人视觉系统对目标物的识别定位的研究较多，在解决
一些特定环境下的具体问题上取得了一定效果；但是针对复杂背景下目标图像实
时定位与识别的研究比较少，大多数都是基于比较简单的背景。有关目标物定位
与识别的课题在技术上还存在一定的难点。随着研究工作的进行，新的方法还在
不断的涌现，现有的这些方法也处于不断完善之中。
§1.2.2 国外研究现状
国外机器人的初期研究，主要从学术角度研究机器人的体系结构和信息处理，
并建立实验系统进行验证。由于80年代对机器人的智能行为期望过高，导致室外
机器人的研究未达到预期的效果，但却带动了相关技术的发展。进入90年代，随
着技术的进步，移动机器人开始在现实的基础上，开拓各个领域，向实用化进军。
机器人的立体视觉技术的快速发展致使世界各国投入大量人力、物力研究视觉系
统，其中在机器人立体视觉技术研究中取得创新成果的是美国和日本。
美国在立体视觉研究上的主要成果集中体现在：
视觉分层的多传感器的处理结构
多视角
图像投
影三维
信息获
取及物
体的识
别
预测
物体
的识
别与
定位
跟踪
结构光
三维信
息的获
取及各
层信息
的处理
融合
摘要：
展开>>
收起<<
摘要随着机器人智能化程度地不断提高，立体视觉系统作为与外界交换信息的重要媒介，成为智能机器人系统研究的重要分支之一，目前已广泛应用于各个领域。由于视觉系统的研究起步较晚加之视觉理论技术尚未成熟，因此至今未能形成一套通用的视觉系统来获取环境中的信息；现阶段研究的视觉理论主要为具体场景中的视觉应用提供解决方案。本文在机器人双目立体视觉系统总体研究的基础上，重点对机器人目标识别定位进行了深入的研究和探讨，其主要内容为：对于机器人目标特征识别的研究，针对先验环境中不同目标物的固有特征，提出了基于图像边缘检测和图像色彩分割的特征识别的视觉算法，基于MATLAB平台比较验证，并分析误差来源(视觉系统主客观...
相关推荐
-
公务员思想政治教育研究VIP免费
2024-10-15 59 -
在线社会网络中用户行为的实证分析与机制建模研究VIP免费
2025-01-09 12 -
智能优化方法对神经网络的改进及应用研究VIP免费
2025-01-09 16 -
鲜切哈密瓜保鲜技术研究VIP免费
2025-01-09 29 -
小城镇道路网级配方法及应用研究VIP免费
2025-01-09 14 -
医学信息集成测试系统的研究与实现VIP免费
2025-01-09 19 -
余热驱动氨水吸收式制冷系统的理论及实验研究VIP免费
2025-01-09 11 -
喷雾降温技术适用性及热环境研究VIP免费
2025-01-09 13 -
收缩—扩张喷嘴的气泡雾化数值模拟VIP免费
2025-01-09 24 -
支持供应链的工作流系统结构及其计划与调度的研究与应用VIP免费
2025-01-09 43
作者：牛悦
分类：高等教育资料
价格：15积分
属性：86 页
大小：1.54MB
格式：PDF
时间：2024-11-19
相关内容
-
医学信息集成测试系统的研究与实现
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
-
余热驱动氨水吸收式制冷系统的理论及实验研究
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
-
喷雾降温技术适用性及热环境研究
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
-
收缩—扩张喷嘴的气泡雾化数值模拟
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
-
支持供应链的工作流系统结构及其计划与调度的研究与应用
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
