家庭服务机器人的视觉研究

VIP免费
3.0 牛悦 2024-11-19 4 4 5.59MB 94 页 15积分
侵权投诉
摘 要
身处于当前信息化的时代，随着相关科学技术的蓬勃发展，传统机械系统已
经不能满足社会进步的需求。当与信息科技的结合，机械系统正朝着信息化和智
能化的方向发展。信息化和智能化的机械系统将会有广阔的应用领域，从传统应
用到各种特种应用。
移动机器人是能够在已知或未知环境中自主运动的智能机器人。从仿生角度
分解，它整合了外环境感知、智能中央控制、末端执行等多项功能于一体的智能
化的机械系统，已经在军事、航天及一些特种环境中得到成功的应用。而基于机
器视觉的移动机器人，影响其走向民用领域的主要障碍是机器视觉子系统及其后
端智能控制子系统的高度复杂性，繁复的计算开销以及实现的高成本。
本文主要结合了作者在硕士学习阶段参与上海理工大学学科高地项目-移动
读书机器人的研究成果。围绕基于民用家庭服务机器人的立体视觉算法的关键技
术进行讨论与阐述。首先重点研究了现有的主要立体视觉算法方案及其实现的特
点，明确本文立体视觉系统是以系统的实时性为前提，再次为提高匹配的精确性
为辅助的要求；确立本文立体视觉系统的数学模型、算法框架是从图像中提取高
置信度的特征，以此特征为基础完成初次稀疏匹配，再以稀疏匹配为约束完成全
图稠密匹配。为此进行了该算法可行性的试验验证，提出了一种新型高效的基于
稳态小波变换（SWT）的多尺度纹理边缘检测算法，通过对比实验结果表明，
相对于经典的边缘检测算法，该算法在抗噪声能力，物体表面纹理的丰富度以及
边缘定位的准确性上有很大提升，并满足特征匹配的需求。然后，结合常规的局
部特性的相关匹配算法完成视差生成工作。最后，研究在民用低成本条件下基于
FPGA的SOPC嵌入式系统的立体视觉的实现方式；完成算法硬件化恰当变换与调
整，结合嵌入式系统的特点划分软硬件功能，平衡负载。
关键字：机器视觉 小波变换 立体视觉 特征检测 FPGA 器件
SOPC
ABSTRACT
In the current period of information technology, with the rapid development of
science and technology, the traditional mechanical systems can no longer meet the
needs of social progress. When used with a combination of information technology,
mechanical systems are moving in the direction of informationization and intelligent
development. Informationization and intelligent mechanical system will have broad
applications, from traditional applications to a variety of special applications.
Mobile robot is able to self-determination movement of intelligent robots in
known or unknown environment. From the views of bionic, it integrates the external
environment perception, intelligent central control, terminal implementation and
many other functions in the intelligent mechanical systems, which have been the
successful application in the military, aerospace and some special environment. When
the machine vision-based mobile robot towards civilian areas, the main obstacles are
highly complex, complicated calculations and the high cost of the machine vision
sub-system and its intelligent control subsystem.
This paper combines the author's mobile reading robot research production
which belongs to University of Shanghai for Science and Technology Disciplines
Highlands’s Project in the master's learning stages. It discusses and sets forth the key
technology of based on Civil Family Service Robot’s stereo vision algorithms. First,
the main focus on the existing stereo vision algorithm and its implementation
characteristics, clear stereo vision system is based the premise of real-time on this
system, again to improve the matching accuracy for the auxiliary requirements;
establish this three-dimensional vision system mathematical modeling, algorithm
framework is extracted from the image characteristics of a high degree of confidence
so as to complete the initial sparse feature-based matching, and then with sparse
matching constraint to the completion of the whole map dense matching. Thus,
carrying out tests verified the feasibility of the algorithm; this paper brings a new
multi-scale texture edge detection algorithm based on the stationary wavelet transform
(SWT). By comparing the experimental results show that compared with the classical
edge detection methods, this new algorithm obtains a great improvement in the
anti-noise capability, the richness of object surface texture and the positioning
accuracy of edge ,as well as meets the needs of feature matching. Then, combined
with the local characteristics of conventional correlation matching algorithm
completes to the work of generated disparity. Finally, the study of under the
conditions of civilian low-cost FPGA-based SOPC embedded systems the stereo
visual way to achieve; the completion of the appropriate transformation and
adjustment for hardware algorithm, combined with the characteristics of embedded
systems division of hardware and software functions, load balancing.
Key Word: Machine Vision, Wavelet Transform, Stereo Vision,
Feature Detection, FPGA, SOPC
目 录
中文摘要
ABSTRACT
第一章 绪 论.............................................................................................................. 1
§1.1 课题的来源及意义........................................................................................ 1
§1.2 国内外研究、应用现状................................................................................ 1
§1.3 本文的组织结构............................................................................................ 3
第二章 机器视觉与图像理论.................................................................................... 5
§2.1 生物视觉........................................................................................................ 5
§2.2 机器视觉框架................................................................................................ 8
§2.3 数字图像理论.............................................................................................. 11
§2.3.1 图像增强 ................................................................................................ 11
§2.3.2 图像特征提取 ........................................................................................ 12
§2.4 主要的立体视觉技术.................................................................................. 14
§2.4.1 主动探测技术 ........................................................................................ 14
§2.4.2 被动感知技术 ........................................................................................ 15
§2.5 本章小结...................................................................................................... 16
第三章 小波边缘检测算法及试验.......................................................................... 17
§3.1 算法概述...................................................................................................... 17
§3.2 理论回顾...................................................................................................... 17
§3.3 小波变换理论.............................................................................................. 18
§3.3.1 连续小波变换 ........................................................................................ 18
§3.3.2 二进小波与快速算法 ............................................................................ 19
§3.4 Canny 边缘检测准则 ................................................................................... 21
§3.5 本文算法...................................................................................................... 22
§3.6 评价准则...................................................................................................... 24
§3.7 实验结果与分析.......................................................................................... 24
§3.8 本章小结...................................................................................................... 32
第四章 立体视觉算法及试验.................................................................................. 33
§4.1 频差理论...................................................................................................... 33
§4.2 视差理论...................................................................................................... 33
§4.2.1 视差空间模型 ........................................................................................ 33
§4.2.2 模型约束条件 ........................................................................................ 40
§4.3 匹配算法...................................................................................................... 42
§4.3.1 局部匹配 ................................................................................................ 42
§4.3.2 全局匹配 ................................................................................................ 46
§4.4 匹配后处理.................................................................................................. 47
§4.4.1 左右一致性校验 .................................................................................... 47
§4.4.2 视差亚像素估计 .................................................................................... 48
§4.4.3 非线性滤波 ............................................................................................ 48
§4.5 算法评价准则.............................................................................................. 49
§4.6 本文立体算法流程...................................................................................... 50
§4.7 试验结果与分析.......................................................................................... 52
§4.7.1 试验条件说明 ........................................................................................ 52
§4.7.2 试验数据 ................................................................................................ 52
§4.7.3 评价说明 ................................................................................................ 61
§4.8 本章小结...................................................................................................... 61
第五章 基于 FPGA 的算法硬件化 ......................................................................... 62
§5.1 概述.............................................................................................................. 62
§5.2 FPGA 的基本结构与 SOPC 嵌入式系统 ................................................... 63
§5.2.1 FPGA 的基本结构 .................................................................................. 63
§5.2.2 SOPC 嵌入式系统 .................................................................................. 68
§5.3 基于 SOPC 系统的算法实现...................................................................... 71
§5.3.1 实验硬件平台 ........................................................................................ 71
§5.3.2 系统总体架构 ........................................................................................ 72
§5.3.3 系统的工作流程 .................................................................................... 74
§5.4 系统的硬件 IP 软核 .................................................................................... 76
§5.4.1 图像特征检测 IP .................................................................................... 76
§5.4.2 第三方 IP 核 ........................................................................................... 81
§5.5 本章小结...................................................................................................... 82
第六章 工作总结与展望.......................................................................................... 83
§6.1 研究总结...................................................................................................... 83
§6.2 研究展望...................................................................................................... 83
参考文献...................................................................................................................... 85
在读期间公开发表的论文和承担科研项目及取得成果.......................................... 90
致 谢............................................................................................................................ 91
第一章 绪 论
1
第一章 绪 论
§1.1 课题的来源及意义
以现代科学技术时代为背景，人们由于提高生产效率、改善生活质量的需求，
一种高度自动化的机械装置即机器人由此诞生。随着信息技术的飞速发展，人们
已不再满足于使机器人简单被动地执行任务，而是需要机器人能主动的获取外界
信息资源，自动完成信息的加工处理工作并最终自主完成任务执行。即让机器人
不只是机器，更具有人的智能性。为使机器人达到这种智能性，首先要使机器人
具有获取外界环境信息的能力，其次要使机器人能自主出这些信息并做出决策的
能力。从生物学角度看，动物界 95%以上的物种具有感受光线的视觉系统，而人
及大部分动物获取外界 80%以上环境信息的主要手段是眼睛的视觉功能。亦从仿
生学的观点看，研究机器视觉系统至少有两方面的重大意义：应用在医学领域，
用于研制人工视觉器官，为视觉障碍者带来光明；应用在工程领域，研究模拟生
物视觉功能的机器视觉系统，即仿生机器眼，使机器能够通过视觉观察并理解周
围环境。
在现代社会中的人们处于忙碌工作之中，一方面家务活动越来越成为家庭中
棘手的问题，需要人们从繁杂的家庭劳动中解脱出来；另一方面随着社会人口结
构的老龄化趋势越来越严重，将会有更多的老年人需要照顾，社会化的保障和服
务的需求也更加紧迫。而近年来，随着人工智能技术的迅速发展和应用领域的不
断扩大，已经在工业、军事、航天及一些特种环境中得到成功的应用，智能化机
器人也已经开始进入了家庭服务行业。由联合国欧洲经济委员会（UNECE）及国
际机器人协会联合发布报告称，截止到 2007 年末，家用机器人数量同比上个世纪
上涨 6倍，有 410 万家用服务机器人走进了人们的生活。在可预见的将来，机器
人进入人们的生活不会只停留在科幻电影当中。为了使家庭服务机器人朝着更加
灵敏、更加智能的方向发展，相应机器人的外环境信息获取以及处理就成为了关
键性的前提，而机器视觉功能易于实现外环境信息采集及处理，并为机器人自主
识别物体、感受三维空间环境以及自主运动导航等应用提供基础条件。
§1.2 国内外研究、应用现状
机器视觉技术在工业的应用
家庭服务机器人的视觉研究
2
当今大规模工业生产中，机器视觉技术能够保证在复杂工业现场环境下产品
检测和装配的可靠性与稳定性，大批装配、检验机器人的应用提高生产自动化程
度，从而最终提高生产效率。
机器视觉技术在医学的应用
在医学领域，机器视觉采集核磁共振、超声波、激光、X射线、𝛶射线等对人
体检查记录的图像信息，再利用数字图像处理技术、信息融合技术对这些医学图
像进行分析、描述和识别，最后得出相关信息辅助医生诊断与治疗。
机器视觉技术在其它领域的应用
在卫星遥感系统中，机器视觉技术被用于分析各种遥感图像，对地面目标进
行自动识别、理解和分类等工作。在交通管理系统中，机器视觉技术被用于车辆
识别、调度，向交通管理与指挥系统提供相关信息；在闭路电视监控系统中，则
用于增强图像质量，捕捉突发事件，监控复杂场景，鉴别身份，跟踪可疑目标等。
家用机器人的应用
国际机器人联合会经过几年的搜集整理，给了服务机器人一个初步的定义：
服务机器人是一种半自主或全自主工作的机器人，它能完成有意于人类健康的服
务工作，但不包括从事生产的设备。这里，我们把其它一些贴近人们生活的机器
人也列入其中。家用服务机器人则是现阶段科学家比较热衷的领域。家用机器人
的应用范围很广，主要从事维护保养、修理、运输、清洗、保安、救援、监护等
工作。其中自动真空吸尘器仍将占绝大多数，而窗户清洁机器人和泳池清洗机器
人的销售数量也会持续增长。然而，家用服务机器人的发展仍受到了许多技术的
限制。以上列出的家用机器人大多数人需要人的监督工作，因为缺乏一些感知环
境的传感器尤其是视觉传感器还不能达到自主执行任务的能力。
从仿生学的角度看，机器视觉参与机器人工作任务主要分成三个阶段：三维
环境空间的感知，场景中目标对象的识别以及机器人运动的规划与动作控制。本
文中机器视觉及立体视觉研究的重点在于针对机器人所处的室内进行三维环境空
间的感知，及获取室内环境与其中的目标对象的三维重建模型，并为下一阶段机
器视觉处理工作提供了环境基础数据模型。
现在，我国服务机器人的研究没有形成系统，基本上是各个大学、研究院所
根据国外的研究状况，或是为了培养学生兴趣，而进行的一些零散的或者军事、
航天等特殊的研究，总体而言处于相对落后状态。而在机器人研究非常发达的国
家，例如：德国、日本和韩国，服务机器人研究大多是企业出面进行研究的，将
研究与产业发展、市场需求非常好的结合起来，使研究服务于企业，企业促使研
究发展，形成一个良性循环。因此这些国家服务器人的产业化，已经取得了非常
第一章 绪 论
3
好的成果。
§1.3 本文的组织结构
本文的结构安排如下：
第一章，绪论。分析了本课题的来源及意义，对比了国内外构件技术的发展
和成果，通过这一系列的讨论，最后提出了存在的问题及研究内容。
第二章，机器视觉与图像理论。本章介绍生物立体视觉、Marr 机器视觉框架
以及基本数字图像理论，最后分析了主要的立体视觉技术。
第三章，小波边缘检测算法及试验。本章首先介绍传统边缘检测算法及其弱
点。然后提出一种基于稳态小波（SWT）的边缘检测算法；最后，给出该算法与
传统算法比较试验的结果与分析。
第四章，立体视觉算法及试验。本章首先给出了通用的立体视觉的视差理论，
接着分析了主要立体匹配的算法与分类，以及匹配的后期处理；然后，提出本文
的立体视觉算法架构；最后，给出算法试验的结果与分析。
第五章，基于 FPGA 的算法硬件化。首先介绍 FPGA 器件的基本结构、应用
情况以及发展而来的 SOPC 嵌入式系统，继而分析本文软件算法的硬件化的基本
模块划分以及数据流控制问题；最后，分析了软件算法的硬件化的优化及改进方
法。
第六章，总结与展望。对研究做一个总结，并对研究内容的前景进行展望。
本文的总体结构见图 1-1。
家庭服务机器人的视觉研究
4
图1-1 论文的总体结构
第一章 绪论
第二章 机器视觉与图像理论
第五章 基于FPGA的算法硬件化
第六章 总结与展望
第三章 小波边缘检测算法及试验 第四章 立体视觉算法及试验
第二章 机器视觉与图像理论
5
第二章 机器视觉与图像理论
§2.1 生物视觉
从仿生学角度出发，生物视觉系统是现代机器视觉研究的基础。现代机器视
觉研究的很多问题在计算理论上都归结成病态NP问题，解决起来有相当的难度。
而经过了长期的自然选择、进化，生物视觉系统近乎完美的结构、信息处理的流
程与特点，为机器视觉研究提过绝佳的范例。所以，在参阅有关文献[1][3][4][1]的基
础上对于生物视觉做一些基本介绍。
（1）生物视觉的通路
在可见光照射下物体经眼的光学系统在眼底视网膜上成像，由杆状和椎状感
光细胞转换为生物电信号，并通过视网膜中的神经节细胞（Ganglion Cell，GC）
处理后传递出视网膜。此神经信号再经过视交叉部分地交换神经纤维后，形成视
束传递到中枢神经的多个部分，如：上丘（Superior Colliculus）、外膝体（Lateral
Geniculate Nucleus）和视皮层（Visual Cortex）等。上丘参与眼球运动等视神经反
射控制，视知觉等神经活动与外膝体和视皮层直接相关。如图2-1所示。
图2-1 生物视觉通路
摘要：

摘要身处于当前信息化的时代，随着相关科学技术的蓬勃发展，传统机械系统已经不能满足社会进步的需求。当与信息科技的结合，机械系统正朝着信息化和智能化的方向发展。信息化和智能化的机械系统将会有广阔的应用领域，从传统应用到各种特种应用。移动机器人是能够在已知或未知环境中自主运动的智能机器人。从仿生角度分解，它整合了外环境感知、智能中央控制、末端执行等多项功能于一体的智能化的机械系统，已经在军事、航天及一些特种环境中得到成功的应用。而基于机器视觉的移动机器人，影响其走向民用领域的主要障碍是机器视觉子系统及其后端智能控制子系统的高度复杂性，繁复的计算开销以及实现的高成本。本文主要结合了作者在硕士学习阶段参...

展开>> 收起<<
家庭服务机器人的视觉研究.pdf

共94页,预览10页

还剩页未读， 继续阅读

相关推荐

更多
立即下载
作者：牛悦 分类：高等教育资料 价格：15积分 属性：94 页 大小：5.59MB 格式：PDF 时间：2024-11-19

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

推荐作者

热门标签

/ 94
评分 收藏
分享
立即下载 VIP免费下载
客服
关注