机器人自主图像识别系统研究

VIP免费

3.0 牛悦 2024-11-19 4 4 2.03MB 89 页 15积分

侵权投诉

摘要

机器视觉随着工业自动化的发展而逐渐完善和发展。在高质高效的生产中，

发挥了极其重要的作用。机器视觉技术应用到焊接机器人上，不仅可以大幅度提

高生产效率，也可以改善工人的工作环境，甚至实现无人焊接，可以有力地推动

世界工业技术的进步。

本文在对曲线识别算法研究的基础上，设计了机器人两维曲线检测跟踪系统。

并在简化摄像头模型的基础上提出一种三维曲线识别算法。

两维曲线检测跟踪系统以 VC++作为开发工具，运用开源的计算机视觉库

OpenCv，利用摄像头采集到写字板上任意形状的曲线，经过膨胀、细化、提取骨

架，得到近似单像素宽的曲线中心线图像。然后采用回溯曲线寻找算法，寻找到

精确的曲线中心线数据得到轨迹曲线的数据，控制实验室 UP6 机器人，使机器人

手部精确跟踪曲线的轨迹运动。也可以单独完成仿真运行的功能。

在两维曲线识别技术的基础上进行三维曲线识别技术的研究，简化摄像头模

型，设计了摄像头线性验证程序，验证了该模型的正确性。限制摄像头的安装位

置，利用两摄像头坐标系之间的关系，推导出一种基于两维曲线识别的三维曲线

识别算法。分析了该种算法的具体实现步骤，并介绍了如何利用 DirectShow 开发

双摄像头的使用程序，为三维曲线识别程序开发奠定基础。

两维曲线检测跟踪系统将机器视觉同实验室现有的机器人设备结合起来，为

机器人实验增添了内容和新意。同时该系统的图像处理的方法可以用在工业焊接

机器人上，实现自主焊接，有一定的工业应用价值。三维曲线识别算法理论上可

行，为三维视觉的研究提供了一种新思路。

关键词：机器视觉双目视觉曲线识别骨架

ABSTRACT

Machine vision is gradually improved and perfected with the development of the

Industrial Automation.It plays a vital role in effective and high quality production.

productive efficiency and labour condition can be improved with useing Machine vision

technic on welding robot ,it can even achieve unmanned welding, effectively drive

improvement of world production techniques.

Based on the the rsearch of curve rcognition arithmetic, the author designs a 2D

curve detection and tracking system. simplifys camera model and provides a method 3D

curve rcognition arithmetic

2D curve detection and tracking system is based on the developed tool of

VC++ and adopts Open Source Computer Vision Library OpenCv, from which the

image information is collected. After dilation and thinning and getting the bar frame,

nearly single pixel wide curve central line are obtained.Then get the precise curve

central line data with 2D curve seeking arithmetic.With the aid of the data, the robot

of laboratory can be controlled by making it follow the locus of the curve．It can also

achieves simulated running function .

Research 3D curve recognition technology which is based on 2D curve recognition

technology, predigest the camera model, restrict the place of the camera, using the

relationship of the camera coordinate. Educe a 3D curve recognition arithmetic which is

based on 2D curve recognition arithmetic, and analyzed the concrete realization step

of the arithmetic.Introduce how to develope two camera using program with

DirectShow, Lay the groundwork of 3D curve recognition program development.

2D curve detection and tracking system integrate the machine vision and the

laboratory equipment, increases the content and new ground of the robot laboratory.the

image processing method can be used on industry welding robot,achieve self welding. It

has a certain value in the application of industry application. 3D curve recognition

arithmetic which supplys a new idea in the Research of 3D vision, is workable in theory.

Key Word：Machine vision ,Binocular vision ,Curve Recognition,Bar

frame

摘要

ABSTRACT

第一章绪论 ...................................................... 1

§1.1 课题研究背景及意义 .......................................... 1

§1.2 国内外现状及发展趋势 ....................................... 2

§1.3 课题的主要研究内容 .......................................... 3

第二章：机器视觉系统及图像处理技术 ................................... 4

§2.1 机器视觉的概念引入 .......................................... 4

§2.2 机器视觉的系统构成和分类 .................................... 5

§2.3 机器人视觉的图像处理技术 .................................... 6

§2.4 本章小结 .................................................... 9

第三章:机器人两维曲线检测跟踪系统的设计 ............................. 10

§3.1 两维曲线识别算法 .......................................... 10

§3.1.1 图像的预处理 ......................................... 10

§3.1.2 两维曲线的回溯曲线寻找算法 ........................... 12

§3.2 OpenCV 平台简介 ............................................ 14

§3.3 机器人两维曲线检测跟踪系统 ................................. 16

§3.4 两维曲线检测跟踪系统程序设计 ............................... 21

§3.4.1 初始化流程 ........................................... 22

§3.4.2 定时器处理流程 ....................................... 23

§3.4.3 摄像头标定 ........................................... 27

§3.4.4 机器人曲线跟踪 ....................................... 30

§3.4.5 图像显示 ............................................. 31

§3.5 本章小结 ................................................... 33

第四章：三维曲线识别算法的研究 ...................................... 34

§4.1 三维曲线寻找算法 ........................................... 34

§4.1.1 简化摄像头模型及双目坐标系的建立 ..................... 34

§4.1.2 三维曲线识别算法的推导 ............................... 36

§4.1.3 三维曲线识别算法的实现步骤 ........................... 39

§4.2 摄像头线性验证程序设计 ..................................... 40

§4.2.1 线性验证程序功能及实验流程 ........................... 40

§4.2.2 线性验证程序设计要点 ................................. 44

§4.3 DirectShow 在双目视觉中的应用 .............................. 46

§4.3.1 DirectShow 介绍 ...................................... 46

§4.3.2 利用 DirectShow 开发双摄像头使用程序 .................. 48

§4.4 本章小节 ................................................... 53

第五章总结与展望 ................................................... 54

附录 ................................................................ 55

附录一：两维曲线跟踪系统程序 .................................... 55

附录二：摄像头线性验证程序 ...................................... 73

参考文献 ............................................................ 83

在读期间公开发表的论文和承担科研项目及取得成果 ...................... 86

致谢 .............................................................. 87

第一章绪论

机器人问世已有几十年，机器人技术也在飞速的发展，新的机型，新的功能

不断涌现。机器视觉作为机器人发展的一个方向，自起步发展到现在，已有接近

15 年的历史。应该说机器视觉作为一种应用系统，其功能特点是随着工业自动化

的发展而逐渐完善和发展的。焊接机器人占据整个工业机器人总量的 40%以上，在

高质高效的焊接生产中，发挥了极其重要的作用。将机器视觉技术应用到焊接机

器人上，不仅可以大幅度提高生产效率，也可以改善工人的工作环境，甚至实现

无人焊接，可以有力地推动了世界工业技术的进步。

§1.1 课题研究背景及意义

本论文围绕上海市教委基金项目“机器视觉在机器人的应用”，基金编号：

(06EZ009)展开研究。其中视觉系统和曲线识别技术是焊接机器人的视觉的两项关

键技术。本文所研究的“机器人自主图像识别系统”主要针对焊接机器人的焊缝

识别进行。研究视觉系统的组成，和曲线识别算法，并运用到机器人实验室中。

随着现代社会的发展，产品质量、生产效率、劳动条件、环境保护要求的提

高，实现装配及焊接自动化与智能化已成为迫切需要。工业机器人发展到现在，

经历了示教再现、离线编程和自主编程三个阶段。目前世界工业应用的仍是示教

再现型机器人，由于这类机器人不具备对环境的感知以及适应环境条件变化的功

能，使得国内许多企业进口的工业机器人使用效率极低，甚至成为展品，造成资

源的很大浪费。我国开展工业焊接和装配机器人的研究从上世纪 80 年代后期开始，

但几乎没有形成中国自己有市场竞争力的焊接和装配机器人产业，机器人市场几

乎全被外国占领。审视目前的焊接和装配机器人发展态势，从头开始研究示教再

现型工业机器人的途径已不可取，中国只有研制开发具有自主知识产权的新型智

能机器人，以实现中国工业机器人技术的跨越式发展，才有可能在未来机器人产

业和机器人技术争得一席之地，这也是国人长期以来的追求。

机器视觉极适用于大批量生产过程中的测量、检查和辨识，如：零件装配完

整性，装配尺寸精度，零件加工精度，位置/角度测量，零件识别，特性/字符识

别等。其最大的应用行业为：汽车，制药，电子与电气，制造，包装/食品/饮料，

医学。如对汽车仪表盘加工精度的检查，高速贴片机上对电子元件的快速定位，

对管脚数目的检查，对 IC 表面印字符的辨识，胶囊生产中对胶囊壁厚和外观缺陷

的检查，轴承生产中对滚珠数量和破损情况的检查，食品包装上面对生产日期的

辨识，对标签贴放位置的检查等等。

机器人自主图像识别系统研究

从焊接和装配机器人的应用技术实践问题看，目前，国内外大量应用的焊接

和装配机器人系统对作业条件的稳定性要求严格，表现出明显的缺点。因为在装

配和焊接过程中，由于工件的装配误差，热变形等环境影响，焊接和装配条件会

产生变化。如何能够克服各种不确定性因素对焊接和装配质量的影响是制约发展

机器人焊接和装配技术的瓶颈。

为了解决这些问题，本课题研究一套“机器人自主图像识别系统”，使得机器

人能够自适应调整装配和焊接位置。该系统能够迅速从复杂的背景中搜寻到需要

的特征物，自动抓取图像，分辨出特征物来，并确定特征物体的位置，实现物体

跟随。

该机器人跟随系统也适合于太空、深海、放射性环境等特殊环境下自主作业；

并可改装为陪伴型机器人，实现工业产品的民用化。

§1.2 国内外现状及发展趋势

国际上机器视觉

]1[

在各个领域中得到广泛应用，视觉检测，视觉测量，尺寸测

量，形状符号识别，外观检测，表面缺陷检测，精确定位等的在线检测系统，广

泛应用于半导体，电子，集成电路，印刷包装，医疗制药，食品加工等领域。同

时基于多视几何的视觉理论得到迅速发展。我国的机器人视觉发展目前正处于方

兴未艾的阶段，无论工业，农业还是军事领域都有广阔的应用发展前景，但是在

应用领域大部分都没有转换成生产力。

美国麻省理工学院(MIT)开展了全臂操作手捕捉运动球体的研究，系统采用了

双主动视觉系统，通过 2 个 CCD 光轴始终汇交于目标球体中心的方法跟踪目标，

项目研究了 3 次多项式路径生成和主动视觉系统自适应跟踪的算法，但其捕捉物

体是通过计算运动物体的运动学和动力学特性进行轨迹预测而实现的，因此只适

用于运动目标的运动学和动力学模型已知的情况，如自由飞行和平面自由滑动，

还不是一个真正意义上的实时捕捉系统。

国内清华大学率先研究开发的拟人机器人，采用的是最为典型的平行双目立

体视觉系统，其设计指标为：具有多关节手足运动以及视觉、触觉和听觉功能

的双腿机器人，可以预计，我国飞速发展的经济实力将为机器视觉计数的发展提

供更加广阔的应用需求，同时有更多的相关研究转化为生产力。

视觉伺服也是机器人视觉随动系统研究的一个很有前景的应用，应用领域非

常广泛。

第一章绪论

§1.3 课题的主要研究内容

本课题主要研究一套“机器人自主识别图像系统”，将该系统应用在机器人实

验室的 MOTOMAN 机器人和工业焊接机器人上可以使机器人能够完成自适应控制。

首先研究两维曲线的识别问题，两维曲线检测跟踪系统以 VC++作为开发工具，

运用开源的计算机视觉库 OpenCv 为开发平台，采用室内灯光作为视觉系统的光

源，采用一个摄像头采集平面物体数据。通过数据处理，摄像机内外参数的标定，

完成曲线骨架的提取和拟合，在 MOTOMAN 机器人上，通过机器人和计算机实时

通讯，实现机器人两维焊缝的自动识别，自动跟随。

在两维曲线识别技术的基础上进行三维曲线识别技术的研究，首先简化摄像

头模型，并设计了摄像头线性验证程序，验证了该模型的正确性。限制摄像头的

安装位置，利用两摄像头坐标系之间的关系，推导出一种基于两维曲线识别的三

维曲线识别算法，并分析了该种算法的具体实现步骤。并介绍了如何利用

DirectShow 开发双摄像头的使用程序。

机器人自主图像识别系统研究

第二章：机器视觉系统及图像处理技术

§2.1 机器视觉的概念引入

人类在生产实践的过程中，感知外部世界主要是通过视觉、触觉、听觉和嗅

觉等感觉器官，其中约 80%的信息是由视觉获取的。因此，对智能机器来说，赋予

机器以人类视觉功能是极其重要的。在现代工业自动化生产中，涉及到各种各样

的检查、测量和零件识别应用，例如汽车零配件尺寸检查和自动装配的完整性检

查，电子装配线的元件自动定位，饮料瓶盖的印刷质量检查，产品包装上的条码

和字符识别等。这类应用的共同特点是连续大批量生产、对外观质量的要求非常

高。通常这种带有高度重复性和智能性的工作只能靠人工检测来完成，我们经常

在一些工厂的现代化流水线后面看到数以百计甚至逾千的检测工人来执行这道工

序，在给工厂增加巨大的人工成本和管理成本的同时，仍然不能保证 100%的检验

合格率（即“零缺陷”），而当今企业之间的竞争，已经不允许哪怕是 0.1%的缺陷

存在。有些时候，如微小尺寸的精确快速测量，形状匹配，颜色辨识等，用人眼

根本无法连续稳定地进行，其它物理量传感器也难有用武之地。这时，人们开始

考虑把计算机的快速性、可靠性、结果的可重复性，与人类视觉的高度智能化和

抽象能力相结合，由此逐渐形成了一门新学科——机器视觉

]11,1[

。

机器视觉是研究用计算机来模拟生物宏观视觉功能的科学和技术。通俗地

说，就是用机器代替人眼来做测量和判断。首先采用图像采集卡将被摄取目标转

换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，

转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，如：

面积、长度、数量、位置等；最后，根据预设的容许度和其他条件输出结果，如：

尺寸、角度、偏移量、个数、合格/不合格、有/无等。如果是带反馈执行的系统，

还会根据图像处理的结果驱动执行机构完成相应的动作。机器视觉的特点是自动

化、客观、非接触和高精度，与一般意义上的图像处理系统相比，机器视觉强调

的是精度和速度，以及工业现场环境下的可靠性。

机器视觉是一个相当新且发展十分迅速的研究领域。人们从 20 世纪 50 年

代开始研究二维图像的统计模式识别，60 年代 Roberts 开始进行三维机器视觉的

研究，70 年代中，MIT 人工智能实验室正式开设“机器视觉”课程，80 年代开始，

开始了全球性的研究热潮，机器视觉获得了蓬勃发展，新概念、新理论不断涌现。

美国制造工程师协会（ SME Society of Manufacturing Engineers ）机器视觉分

会和美国机器人工业协会（ RIA Robotic Industries Association ）的自动化视觉分

会对机器视觉下的定义为：“机器视觉是通过光学的装置和非接触的传感器自动地

第二章机器视觉系统及图像处理技术

接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装

置”。

机器视觉系统比光学或机器传感器有更好的可适应性。它们使自动机器具有

了多样性、灵活性和可重组性。当需要改变生产过程时，对机器视觉来说“工具

更换”仅仅是软件的变换而不是更换昂贵的硬件。当生产线重组后，视觉系统往

往可以重复使用。

§2.2 机器视觉的系统构成和分类

机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或

显示。

从视从视觉系统的运行环境分类，可分为 PC-BASED 系统和 PLC-BASED 系

统。基于 PC 的系统利用了其开放性，高度的编程灵活性和良好的 Windows 界面，

同时系统总体成本较低。系统内含高性能图像捕获卡，一般可接多个镜头，配套

软件方面，从低到高有几个层次，如 Windows95/98/NT 环境下 C/C++编程用 DLL，

可视化控件 ActiveX 提供 VB 和VC++下的图形化编程环境，甚至 Windows 下的

面向对象的机器视觉组态软件，用户可用它快速开发复杂高级的应用。在基于 PLC

的系统中，视觉的作用更像一个智能化的传感器，图像处理单元独立于系统，通

过串行总线和 I/O 与PLC 交换数据。系统硬件一般利用高速专用 ASIC 或嵌入式

计算机进行图像处理，系统软件保存在图像处理器中，通过类似于游戏键盘的简

单装置对显示在监视器中的菜单进行配置，或在 PC 上开发软件然后下载。基于

PLC 的系统体现了可靠性高、集成化，小型化、高速化、低成本的特点。

图像的获取实际上是将被测物体的可视化图像和内在特征转换成能被计算机

处理的数据，它直接影响到系统的稳定性及可靠性。一般利用光源、光学系统，

相机、图像处理单元（或图像捕获卡）获取被测物体的图像。

图像处理单元实际上是一个光电转换装置，即将图像传感器所接收到的光学

图像，转化为计算机所能处理的电信号。光电转换器件是构成相机的核心器件。

目前，典型的光电转换器件为真空摄像管、 CCD 、CMOS 图像传感器等。

真空电视摄像管由密封在玻璃管罩内的摄像靶、电子枪两部分组成。摄像靶

将输入光学图像的光照度分布转换为靶面相应象素电荷的二维空间分布，主要完

成光电转换和电荷存贮任务；电子枪则完成图像信号的扫描拾取过程。电视摄像

管型成像系统具有高清晰度、高灵敏度、宽光谱和高帧速成像等特点。但由于电

视摄像管属于真空管器件，其重量、体积及功耗均较大。

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

摘要机器视觉随着工业自动化的发展而逐渐完善和发展。在高质高效的生产中，发挥了极其重要的作用。机器视觉技术应用到焊接机器人上，不仅可以大幅度提高生产效率，也可以改善工人的工作环境，甚至实现无人焊接，可以有力地推动世界工业技术的进步。本文在对曲线识别算法研究的基础上，设计了机器人两维曲线检测跟踪系统。并在简化摄像头模型的基础上提出一种三维曲线识别算法。两维曲线检测跟踪系统以VC++作为开发工具，运用开源的计算机视觉库OpenCv，利用摄像头采集到写字板上任意形状的曲线，经过膨胀、细化、提取骨架，得到近似单像素宽的曲线中心线图像。然后采用回溯曲线寻找算法，寻找到精确的曲线中心线数据得到轨迹曲线的数据...

展开>> 收起<<

机器人自主图像识别系统研究.pdf

共89页,预览9页

还剩页未读，继续阅读

机器人自主图像识别系统研究

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: