非完整移动机器人的视觉反馈跟踪
VIP免费
摘 要
视觉传感器在机器人相关领域的应用越来越广泛，机器人的视觉伺服控制问
题也成为研究的热点。机器人从摄像机获得图像，进行处理和识别，再利用得到
的信息对机器人进行控制。
本文首先概述了目前国内外机器人视觉伺服控制的发展概况、方向及存在的
主要问题。机器人视觉伺服控制一直是移动机器人研究的一个热点，然而，机器
人视觉伺服控制方法针对非完整约束下跟踪问题的研究还不充分，基于图像特征
的机器人视觉伺服控制一直未能达到令人满意的程度。本文以非完整移动机器人
作为研究对象，主要讨论基于单目视觉的非完整移动机器人视觉反馈镇定的问题。
由于单目车载摄像机在应用于控制时缺乏重要的深度信息，这给伺服控制带来了
很大的难度。本文研究了单目摄像机下的空间几何关系以及对控制所带来的影响，
根据仿射和投影几何理论，应用巧妙的空间变换，削除了传统控制算法对深度信
息的依赖性。然后重建了应用于单目视觉的移动机器人误差模型，设计了用于速
度控制的伺服控制器，并给出了证明和仿真。
文中的视觉部分采用了 Intel 的开源视觉库 OpenCV，用于图像点的处理和识
别。通过自主设计的非完整移动机器人实验平台，编写了相应的控制软件并驱动
机器人做了控制实验，验证了伺服控制器的有效性和稳定性。
关键词：非完整 移动机器人 视觉伺服 同形矩阵 OpenCV
Abstract
Visual sensors have been paid more attention for two decades because of their
merits such as vast information, high efficiency, non-touch measurement, etc. Visual
servoing feedback becomes a focus in the field of mobile robots. The images can be
taken from cameras, after being processed and recognized, they are used to control the
behavior of robots.
In this thesis, first, the domestic and international development in robot visual
servoing fields is investigated. Because of the deficiency of the depth information,
monocular vision servoing control has always been a difficult problem. A robust
stabilizing controller was proposed for nonholonomic mobile robots with a monocular
camera attached. By comparing corresponding target points of an object from two
different camera images, geometric relationships are exploited to derive a
transformation that relates the actual position and orientation of the mobile robot to a
reference position and orientation. This transformation is used to synthesize a rotation
and translation error system from the current position and orientation to the fixed
reference position and orientation. Lyapunov-based techniques are used to construct a
robust controller to stabilize the error system with a constant, immeasurable depth
parameter.
The contribution of this paper is that Lyapunov techniques are used to construct a
robust controller that makes mobile robot position and orientation converge to the
desired configuration despite the lack of an object model and the lack of depth
information. Simulation and experimentation results are provided to illustrate the
performance of the controller.
Key Word：Nonholonomic，Wheeled Mobile Robot，Visual Servoing，
Homography, Robust control，OpenCV
目 录
中文摘要
ABSTRACT
第一章 绪论 .................................................................................................................... 1
§1.1 课题来源及研究目的和意义 .......................................................................... 1
§1.2 机器人系统 ...................................................................................................... 1
§1.3 移动机器人系统 .............................................................................................. 3
§1.3.1 移动机器人简述 .................................................................................... 3
§1.3.2 非完整移动机器人系统 ........................................................................ 3
§1.3.3 非完整移动机器人运动学模型 ............................................................ 6
§1.3.4 非完整移动机器人动力学模型 ............................................................ 6
§1.4 基于视觉伺服的移动机器人系统 .................................................................. 7
§1.4.1 视觉伺服技术的历史与现状 ................................................................ 7
§1.5 本文研究的主要内容 ...................................................................................... 9
第二章 非完整移动机器人视觉空间模型 ...................................................................11
§2.1 引言 .................................................................................................................11
§2.2 摄像机模型 .....................................................................................................11
§2.2.1 摄像机针孔模型成像坐标 .................................................................. 12
§2.2.1 坐标系变换关系 .................................................................................. 13
§2.3 移动机器人视觉平面表示 ............................................................................ 15
§2.3.1 任务空间内的 WMR 运动学模型 ..................................................... 15
§2.3.2 图像空间内的 WMR 运动学模型 ..................................................... 16
第三章 非完整移动机器人视觉反馈控制算法和仿真 .............................................. 19
§3.1 同形矩阵求解 ................................................................................................ 19
§3.1.1 解析方法求解同形矩阵 ...................................................................... 19
§3.1.2 奇异值分解法求解同形矩阵 .............................................................. 21
§3.2 视觉反馈控制算法 ........................................................................................ 23
§3.2.1 视觉反馈控制器设计 .......................................................................... 24
§3.2.2 视觉反馈控制器稳定性证明 .............................................................. 26
§3.3 视觉反馈控制算法仿真 ................................................................................ 29
§3.3.1 初始状态 r1(0)≠0................................................................................ 29
§3.3.2 初始状态 r1(0)=0.................................................................................. 30
第四章 摄像机标定 ...................................................................................................... 31
§4.1 引言 ................................................................................................................ 31
§4.2 摄像机标定技术 ............................................................................................ 31
§4.3 摄像机标定实验 ............................................................................................ 32
§4.3.1 实时标定程序 ...................................................................................... 33
§4.3.2 标定数据 .............................................................................................. 35
第五章 非完整移动机器人平台 .................................................................................. 37
§5.1 移动机器人系统实验平台概述 .................................................................... 37
§5.2 机器人各模块设计 ........................................................................................ 40
§5.2.1 电源模块设计 ...................................................................................... 40
§5.2.2 测距模块设计 ....................................................................................... 40
§5.3 图像信息处理模块 ........................................................................................ 42
§5.3.1 图像信息处理模块的构成 .................................................................. 42
§5.3.2 图像采集模块的工作流程 .................................................................. 42
§5.4 Open CV 简介................................................................................................. 43
第六章 视觉反馈控制实验 .......................................................................................... 45
§6.1 机器人视觉伺服控制实验概述 .................................................................... 45
§6.2 机器人视觉伺服控制软件分析 .................................................................... 46
§6.2.1 控制程序软件流程 .............................................................................. 46
§6.2.2 控制软件关键线程 .............................................................................. 48
§6.3 机器人视觉伺服控制实验 ............................................................................ 54
§6.3.1 机器人视觉伺服控制实验步骤 .......................................................... 54
§6.3.2 机器人视觉伺服控制实验步数据和分析 .......................................... 55
§6.4 机器人伺服控制实验结论 ............................................................................ 67
第七章 结论与展望 ...................................................................................................... 68
参考文献 ........................................................................................................................ 69
附录 ................................................................................................................................ 74
在读期间公开发表的论文和承担科研项目及取得成果 ............................................ 95
致 谢 ............................................................................................................................ 96
第一章 绪论
第一章 绪论
§1.1 课题来源及研究目的和意义
本课题属于国家自然科学基金项目“基于视觉伺服反馈的非完整系统镇定
（60474009）”和上海市教育委员会科研项目“非完整控制系统的视觉反馈跟踪
（F07zz90）”研究项目。本课题利用视觉信息研究非完整移动机器人的镇定问题，
采用非完整移动机器人镇定的思想，结合视觉伺服反馈的特点，从视觉空间的角
度研究镇定控制的基本理论和方法。这种研究的理论意义是非完整运动学系统镇
定问题可以在视觉空间讨论，进而会引出新的鲁棒镇定控制问题，动力学系统也
会产生出许多新的研究课题。由于视觉传感器具有适用于非结构环境、非接触量
测的特点，将其用于非完整自动控制系统就如同机器长了眼睛一样方便灵活，非
完整移动机器人可用在医院、货运中心、大型商场、核废料处理场等等，具有广
泛的应用背景。
§1.2 机器人系统
机器人“Robot”一词由捷克斯洛伐克作家萨佩克于 1920 年在其作品《洛桑
万能机器人公司》中最早使用。可以说，机器人是人类很早以来就幻想能够拥有
的一种拟人机械，能实现人类手脚的灵活运动、具有人的思维与逻辑，能代替人
类从事非固定的复杂劳动。之后，随着控制理论的产生和计算机的发明，1954 年，
美国人 George C . Devol 提出了第一个关于工业机器人的技术方案，随后注册成为
专利。1959 年美国人英格伯格和德沃尔制造出世界上第一台真正实用的工业机器
人“尤尼梅特”并应用于汽车工业，机器人的历史从此开始。1960 年推出了工业
机器人的实验样机，1961 年全世界第一台定名为“Unimate”的机器人正式问世，
标志着机器人技术开始形成。70 年代以后，机器人产业蓬勃兴起，机器人技术发
展为一门综合性的学科—机器人学，其涉及机械工程学、电气工程学、微电子工
程学、控制工程学、信息传感工程学、仿生学以及人工智能工程学等多门尖端学
科。随着科技水平不断提高，这种智能机械正逐步地迈向现实[1]。
机器人技术研究发展至今，已经历了示教再现型机器人、感知型机器人和智
能型机器人三个阶段[2]。示教再现型机器人必须由人操纵机械手或通过控制器发出
1
非完整移动机器人的视觉反馈镇定
指令让机械手臂动作，以便机器人在动作过程中将这一过程存入记忆装置。这类
机器人不具有外界信息的反馈能力，很难适应变化的环境。感知型机器人对外界
环境有一定感知能力，如具有简单的听觉、触觉等功能。机器人工作时，能够根
据传感器获得的某一特定信息，适当调整自己的工作状态，保证在适应环境变化
的情况下完成工作。而智能型机器人则对环境有更强的感知能力，能独立判断和
行动，能记、推理和决策，从而能够在未知环境中完成更加复杂的任务。智能机
器人的“智能”特征就在于它具有与外部世界对象、环境和人相适应、相协调的
工作机能。从控制方式看，智能机器人不同于工业机器人的“示教、再现”，不同
于遥控机器人的“主-从操纵”，而是以一种“认知-适应”的方式自律地进行操作。
在当今世界上机器人无论是从技术水平上，还是从已装备的数量上，优势集
中在以日美为代表的少数几个工业发达国家中。日本是机器人产业发展最快的国
家，1996 年日本机器人数量为 40 多万台，约占全世界机器人的总数 50％左右。
美国的机器人近 10 年来也呈持续增长势头，而且增长的幅度逐年加大。从机器人
的技术优势来看，目前美国高科技机器人无论是其质量，还是数量都要高于日本。
另外欧洲的德国、意大利、法国及英国的机器人产业发展也比较快。以上 6个机
器人产业大国所拥有的机器人总数构成了世界机器人数量的主体，约占全世界机
器人总数的 80％。在亚洲除日本外，机器人产业发展较快的国家是韩国，2000 年
底韩国的机器人总数已上升到近 4万台，排在世界的第四位[3]。
国内移动机器人的研究起步较晚。大多数研究目前尚处于某个单项研究阶段，
主要研究工作有：1994 年通过鉴定的清华大学智能移动机器人，涉及到基于地图
的全局路径规划、基于传感器信息的局部路径规划、路径规划的仿真、传感数据
信息融合等技术；哈尔滨工业大学研制的轮式智能服务机器人能无缆行走、自动
避障、识别语音并能与人对话、用于服务场合的导游导购等；哈尔滨工业大学研
制的壁面清洗爬壁机器人，可用于瓷砖及玻璃壁面清洗作业，实现了高层建筑清
洗作业的自动化。此外，还有香港城市大学智能设计、自动化及制造研究中心的
自动导航车和服务机器人、中国科学院沈阳自动化研究所的自动导引车 AGV 和防
爆机器人、中国科学院自动化所自行设计、制造的全方位移动式机器人视觉导航
系统等。总之，近年来移动式机器人的研究在国内得到了很大的重视，并且在很
多方面都取得了丰硕成果[4][5]。
2
第一章 绪论
§1.3 移动机器人系统
§1.3.1 移动机器人简述
移动机器人是机器人学中的一个重要分支，早在六十年代，就已经开始了关
于移动机器人的研究。移动机器人是一个环境感知、动态智能决策与规划、行为
智能控制与执行等多种功能于一体的综合系统。从移动方式上看，移动机器人可
分为轮式、履带式、腿式（单腿式、双腿式和多腿式）和水下推进式四大类。移
动机器人由于在军事侦察、扫雷排险、防核化污染、救灾探险等危险与恶劣环境
以及制造业中具有广阔的应用前景，受到了世界各国普遍关注。
美国国家科学委员会曾预言：“二十世纪的核心武器是坦克，二十一世纪的核
心武器是无人作战系统，其中 2000 年以后遥控地面无人作战系统将连续到装备部
队，并走向战场”。美国国防高级研究计划局（DARPA ）专门立项，制定了地面
无人作战平台的战略计划。从此，在全世界掀开了全面研究室外移动机器人的序
幕，如 DARPA 的“战略计算机”计划中的自主地面车辆（ALV）计划，美国能源
部制订的为期 10 年的机器人和智能系统计划（RIPS），以及后来的空间机器人计
划；欧洲尤里卡计划提出的自主机器人计划；日本通产省组织几十家大企业和研
究所及高等院校实施的在极限环境下作业的智能机器人计划等[6][7]。
由于我国在机器人领域的落后形势，所以在移动机器人的研究大多数尚处于
某个单项研究阶段，主要的研究工作有：清华大学在 1994 年研制成功的智能移动
机器人；中国科学院自动化所自行设计并制造的全方位移动式机器人视觉导航系
统；中国科学院沈阳自动化研究所的 AGV 车辆系统和防爆机器人以及哈尔滨工业
大学于 1996 年研制成功的导游机器人等[8]。总体来看，我国移动机器人技术与当
今世界发达国家的先进水平差距还是非常大的。
§1.3.2 非完整移动机器人系统
移动机器人是一个集环境感知、动态决策与规划、运动控制与执行等多种功
能为一体的综合系统。随着移动机器人性能的完善，特别是可充当办公秘书、护
士、导游、保安、娱乐等多种角色服务型移动机器人存在广阔的市场应用前景，
使得对移动机器人的研究在世界各国己经超越了关节机器人而受到普遍重视。
实际的移动机器人系统在与外界环境接触时，都要受到某些力的约束，这些
约束对系统的位置、速度或加速度施加了几何的或运动学特性的限制，要对这样
3
非完整移动机器人的视觉反馈镇定
的系统进行控制，实现特定控制目的或达到某种控制指标，就必须考虑到这些约
束条件的影响。通常，约束条件可以分为完整约束条件和非完整约束条件两类。
设位姿空间Q是广义坐标为
{
}
12
,,,
n
qqq q="的一个开子集。对于由广义坐标
和时间 t 所描述的几何约束，可以将一部分广义坐标用其它广义坐标表示出来，
从而可以将系统降阶，将约束去掉，问题不大。而对于由微分方程和时间描述的
速度约束则存在可积性的问题。一般情况下，对于位姿空间为Q的系统，可以将
速度约束写为如下形式
q
() 0,Aqq
=
其中 ，表示 个速度约束。具有这种形式的约束称为 Pfaffian 约束。如
果存在一个矢量值函数 ，使得
() kn
Aq R×
∈k
:k
hQ R→
() 0 0
h
Aqq q
q
∂
=
⇔=
∂
则认为 Pfaffian 约束是可积的。因此可积的 Pfaffian 约束等价于完整约束，不
可积 Pfaffian 约束则是一种非完整约束。当系统的瞬时速度限制在 维子空间
中，但可达位姿的集合不限于位姿空间中的某个
nk−
nk
−
维超曲面时，即存在这种非
完整约束。也就是说，对于具有完整约束的系统，可以找到由一组独立广义坐标
描述的空间，在此空间内，系统的任意运动都是可能的。而非完整系统则不然，
每个时刻的运动并非任意，只有满足非完整约束才行。
非完整约束条件是对受控系统运动的约束，用系统空间位置的不可积微分方
程来表示，但对空间位置没有任何限制。从力学分析和控制论的角度出发，所有
的实际系统都可以用状态空间法来描述并都受到约束的限制。但完整约束可以用
来降低系统状态空间的维数，转化为无约束的系统控制问题，难度不大。但非完
整约束就不具有这样的性质。所以必须在系统的运动学或动力学模型之外还要考
虑非完整约束。应用最为广泛的一类轮式移动机器人通常具有这样的非完整约束，
即任意时刻机器人车轮只有纯滚动而无滑动运动。如图 1.2.1 所示，就是典型的非
完整移动机器人。
4
第一章 绪论
图1.2.1 非完整移动机器人
其中非完整移动机器人的两个驱动轮轮轴重合，有各自独立的驱动系统，万
向轮仅起支撑作用。为了描述机器人的运动，建立两个直角坐标系，以二维平面
某一点为原点的全局坐标系
X
Y−，和固定于非完整移动机器人本体的横轴正方向
始终与机器人朝向相一致的局部坐标系 cc
x
y
−
。其中，C是机器人的质心，也是局
部坐标系的原点。C在全局坐标系下的坐标 (, )
x
y即为机器人的位置，
X
正方向到
c
x
正方向的角度
θ
即为机器人的朝向，也称为方向角。
现在非完整移动机器人的研究主要分动力学和运动学两方面。运动学研究系
统位置与速度之间的数学关系，运用物理学质点运动分析方法，可以十分容易地
得到非完整移动机器人的运动学模型与非完整约束条件。动力学研究系统位置、
速度以及加速度三者之间的数学关系，能够反映出力对系统位置和速度的作用，
涵盖了运动学模型所表述的位置速度关系。
但是，尽管动力学模型与运动学模型相比更本质，但也更复杂，导致实时性
更差。并且由于诸如摩擦力、质量、转动惯量等不确定项的出现，为系统综合带
来了很大困难，使得动力学模型在控制效果上的模型优势基本上被完全抵消。而
且，即便是型号相同的非完整移动机器人，由于不确定项的存在，其动力学模型
并不具备运动学模型的良好通用性，相同的控制律不能像基于运动学模型那样直
接移植到不同平台。鉴于上述原因，本文主要对非完整移动机器人运动学控制问
题进行研究。
非完整控制系统最近受到广泛关注的原因有两个方面：一是自动化和自动驾
驶技术的发展，就迫切需要考虑受控对象与环境接触的非完整约束问题；二是非
完整控制系统不能用光滑的纯状态反馈来镇定[9]。近三十年来，关于非完整控制系
5
非完整移动机器人的视觉反馈镇定
统的研究也有很多方法，如非光滑控制，时变控制以及混合控制[10]等等。而目前，
己经有相当多的工作研究非完整运动学系统控制问题，其理论也基本成熟。但其
中绝大多数工作局限于系统精确模型下的运动和控制算法研究，当系统模型中存
在不确定参数或者系统受到外部扰动时，这些基于系统精确模型的控制方法和算
法不再适用。因此，研究包含不确定性的移动机器人系统的运动学系统控制就具
有非常重要的理论意义和应用价值。
§1.3.3 非完整移动机器人运动学模型
非完整移动机器人的运动学模型直接刻画出了系统位姿与速度之间的数学关
系。如图 1.2.1 所示，机器人运动时，假定轮子和地面之间没有滑动。在每一瞬间，
轮子与地面接触点的相对速度为零。从而可得出非完整移动机器人的约束条件。
sin cos 0xy
θ
θ
−
=
（1.2.1）
由此可导出运动学模型为：
cos
sin ,
c
c
xv
yv
θω
θ
θ
⎧
⎪
⎨
⎪
⎩
=
=
=
（1.2.2）
其中，(,,)
x
y
θ
为移动机器人位姿， 为移动机器人行进方向的速度，即
c
vc
x
方向的速
度，移动机器人朝 c
x
正方向运动时 c
x
取正值，移动机器人朝 c
x
负方向运动时 取
负值。
c
v
ω
为移动机器人的转向角速度，逆时针转动时
ω
取正值，顺时针转动时
ω
取
负值。
§1.3.4 非完整移动机器人动力学模型
非完整移动机器人的动力学模型刻画出了系统位置、速度以及加速度三者之
间的数学关系，能够反映出力对系统位置和速度的作用，涵盖了运动学模型所表
述的位置速度关系。
根据拉格朗日力学分析方法，直接给出非完整移动机器人动力学模型：
() (,) () () () ()
T
md
M
qq V qqq Fq Gq Bq A q
τ
τ
++++=−
λ
（1.2.3）
其中q表示n维位姿向量， ()
M
q为nn
×
维的对称正定矩阵， 为 维
向心力和哥氏力项， 为 维表面摩擦力项， 为重力项。对于平面移动机
(, )
m
Vqqq
n
()Fq
n()Gq
6
摘要：
展开>>
收起<<
摘要视觉传感器在机器人相关领域的应用越来越广泛，机器人的视觉伺服控制问题也成为研究的热点。机器人从摄像机获得图像，进行处理和识别，再利用得到的信息对机器人进行控制。本文首先概述了目前国内外机器人视觉伺服控制的发展概况、方向及存在的主要问题。机器人视觉伺服控制一直是移动机器人研究的一个热点，然而，机器人视觉伺服控制方法针对非完整约束下跟踪问题的研究还不充分，基于图像特征的机器人视觉伺服控制一直未能达到令人满意的程度。本文以非完整移动机器人作为研究对象，主要讨论基于单目视觉的非完整移动机器人视觉反馈镇定的问题。由于单目车载摄像机在应用于控制时缺乏重要的深度信息，这给伺服控制带来了很大的难度。本文研...
相关推荐
-
USST_Arts_112480743自动生产线的同步维修模型及案例分析VIP免费
2025-01-09 15 -
USST_Arts_112480745基于供需网特征理念的企业间关系状态研究VIP免费
2025-01-09 18 -
USST_Arts_112480756 我国城镇化与能源消费结构间关系的研VIP免费
2025-01-09 21 -
USST_Arts_112490763 企业创新型团队社会网络、知识管理过程及团队创造力关系研究VIP免费
2025-01-09 15 -
USST_Arts_112490769创新团队执行力影响因素分析VIP免费
2025-01-09 19 -
USST_Arts_112070649基于团队自反性的科技型企业TMT特征对企业绩效的影响研究VIP免费
2025-01-09 22 -
TR公司工业机器人市场发展战略研究VIP免费
2025-01-09 28 -
二氧化碳套管式气冷器的研究VIP免费
2025-01-09 21 -
非共沸混合物在微通道水平单管内流动沸腾特性VIP免费
2025-01-09 102 -
基于MRO的连铸辊维护管理系统研究VIP免费
2025-01-09 12
作者：高德中
分类：高等教育资料
价格：15积分
属性：98 页
大小：3.35MB
格式：PDF
时间：2024-11-19
相关内容
-
USST_Arts_112070649基于团队自反性的科技型企业TMT特征对企业绩效的影响研究
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
-
TR公司工业机器人市场发展战略研究
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
-
二氧化碳套管式气冷器的研究
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
-
非共沸混合物在微通道水平单管内流动沸腾特性
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
-
基于MRO的连铸辊维护管理系统研究
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
