基于手势识别的智能控制系统的研究
VIP免费
摘 要
手势是仅次于语言的人与人之间直接交流的信息载体，视觉是人类和动物获
取信息的最重要渠道，将视觉与手势相结合来实现对机器的控制是一个重要的研
究方向。基于手势识别的智能控制的研究内容主要包括：图像采集，手部图像检
测与分割，手势特征提取，手势跟踪识别和机械控制系统等五个部分。针对以上
五个部分，本文在前人的基础上进行了进一步的研究。
1．综合了图像采集所涉及到的环境照明、摄像机和数据传输等环节的需求，
提出了采用容易获取的日光灯作为光源，以普通工业摄像机为主要采集设备，通
过编程设定摄像机参数，以 USB2.0 数据线传输图像的方法，实现了经济、实用、
可控性强的图像采集，降低了系统对环境的要求。
2．在分析了手势图像的特点之后，提出了基于肤色信息的手部图像的检测和
分割方法。结合肤色在 YCbCr 和HSV 颜色空间上的聚簇特性，完成了手部图像
在复杂背景下的分割，达到了良好的分割效果。
3．采用图像的 7个不变 Hu 矩描述子来表征不同手势。不变 Hu 矩具有平移、
缩放和旋转不变性，是重要的区域特征集。实验证明了 Hu 矩描述子不仅在手势
识别系统中能够正确的表达手势，而且具有特征量少、可靠性高、可区别性强的
特点。
4．提出了一种 CamShift 算法的改进方法。利用初始帧手势模板，使跟踪目
标自动选定；在丢失目标后，通过检索图像中的肤色信息，可重新找回目标，实
现了更加稳定可靠的动态手势跟踪。
5．编写了基于 MatLab 软件的 BP 神经网络程序，对静态手势进行了识别，
为动态手势识别提供了依据；提出了帧差法、背景差分法与肤色信息相结合的动
态手势图像分割法；给出了一套手势命令与机械控制命令之间的映射方法；利用
Visual C++ 6.0 编程语言开发了手势识别以及运动控制软件，实现了“虚空写字”
的应用。
关键词：手势识别 虚空写字 BP 神经网络 CamShift 算法
ABSTRACT
Gesture is the information carrier of human direct communication, which is only
second to the language, while visual is the most important channel for information
gaining, so it is the focus and direction for current study to realize human machine
interaction based on the combination of visual and gesture. The research contents of
intelligent control system based on gesture recognition include: image collection, hand
image detection and segmentation, gesture features extraction, gesture tracking and
recognition, mechanical control. Based on precedent research, this thesis tries to make
further study on the five parts mentioned above and make out some methods to achieve
the goal.
1. In accordance with such requirements of image collection as ambient lighting,
camera and data transmission, We take fluorescent lamp as the illuminant which is easy
to gain; ordinary industrial camera as main acquisition device, the parameter of which
could be changed by programming; USB2.0 data cables as the medium for image
transmission. This is a comparatively economic, practical and controllable method for
image acquisition.
2. Based on skin color, a method of detecting and segmenting hand image after
the analysis of hand image features is proposed in this thesis. We combine the cluster
characteristics of complexions in YCbCr and HSV color space, which realizeds
segmentation of hand image in a complicated background.
3. A hand feature descriptors method by Hu moment is presented in this paper.
Seven constant Hu torque descriptors are important regional feature sets, with the
features of translations, scales and rotation invariance, which is demonstrated to be a
good expression in the system.
4. An improvement on CamShift algorithm is proposed in this thesis. We adopt
initial frame gestures template which could select tracking target automatically and
regain the goal through searching color information in the image, if the target is
missing. Proved by practice, these improved algorithms provide a more stable and
reliable dynamic gestures tracking.
5. At last, we compiled a BP neural network according to MatLab software to
make the recognition of static gestures, providing a basis for dynamic gestures
recognition. A method of dynamic image segmentation based on the combinations of
frame differential algorithm, background difference algorithm and complexion
information is put forward in the thesis as well as a mapping method between gesture
command and mechanical control command. It realizes “void writing” based on this
system which is programmed by Visual C++ 6.0.
Key Words: gesture recognition, void writing, BP neural network,
CamShift algorithm
目 录
中文摘要
ABSTRACT
第一章 绪论 .......................................................... 1
§1.1 引言 ......................................................... 1
§1.2 手势识别的研究内容 ........................................... 1
§1.3 手势识别方法 ................................................. 2
§1.3.1 隐马尔可夫模型(HMM) ......................................2
§1.3.2 人工神经网络(ANNs) .......................................3
§1.3.3 模板匹配(MT) .............................................3
§1.3.4 动态时间规整(DTW) ........................................3
§1.3.5 粒子滤波(PF) .............................................4
§1.3.6 支持向量机(SVM) ..........................................4
§1.4 国内外研究现状 ............................................... 5
§1.5 课题背景与研究意义 ........................................... 6
§1.6 本文的主要工作及组织安排 ..................................... 7
第二章 手势识别的研究内容及方法 ..................................... 10
§2.1 手势定义 .................................................... 10
§2.2 手势建模 .................................................... 12
§2.3 手势分割 .................................................... 13
§2.3.1 肤色的图像特征 ......................................... 14
§2.3.2 RGB 空间图像分割 ........................................15
§2.3.3 YCbCr 空间图像分割 ......................................17
§2.3.4 手势图像分割 ........................................... 19
§2.4 手势特征提取 ................................................ 21
§2.5 基于 BP 神经网络的手势识别 ................................... 25
§2.6 本章小结 .................................................... 27
第三章 静态手势识别及算法实现 ....................................... 28
§3.1 图像采集 .................................................... 28
§3.2 图像预处理 .................................................. 29
§3.3 静态手势识别 ................................................ 30
§3.3.1 复杂背景下手势分割 ......................................32
§3.3.2 手势特征的提取 ..........................................35
§3.4 静态手势识别及结果分析 ...................................... 37
§3.5 本章小结 .................................................... 41
第四章 动态手势跟踪识别 ............................................. 42
§4.1 动态手势目标检测 ............................................ 42
§4.1.1 帧差法 ..................................................42
§4.1.2 背景差分法 ..............................................44
§4.1.3 光流法 ..................................................45
§4.2 动态手势图像分割 ............................................ 45
§4.3 基于改进 CamShift 算法的手势跟踪 ............................. 47
§4.3.1MeanShift 算法 ...........................................47
§4.3.2 改进 CamShift 算法 .......................................49
§4.4 动态手势跟踪实现 ............................................ 50
§4.5 本章小结 .................................................... 52
第五章 基于手势识别的智能控制系统 ................................... 53
§5.1 机械控制系统构架 ............................................ 53
§5.2 智能控制系统软件架构 ........................................ 54
§5.3 手势命令定义 ................................................ 56
§5.4 手势识别控制系统软件开发 .................................... 58
§5.5 本章小结 .................................................... 62
第六章 总结与展望 ................................................... 63
§6.1 全文的工作总结 .............................................. 63
§6.2 对未来工作的展望 ............................................ 63
参考文献 ............................................................ 65
在读期间公开发表的论文和承担科研项目及取得成果 ...................... 70
致 谢 .............................................................. 71
第一章 绪论
1
第一章 绪论
§1.1 引言
随着计算机技术和人工智能技术的发展，如何让人类和机器摆脱传统机械式
信息交换方式的束缚，实现自然的人机交互，是社会信息化、智能化发展所需要
研究的重要课题之一。传统的使用鼠标和键盘的人机交互方式的局限性越来越明
显，尤其是在虚拟现实(Virtual Real)、可穿戴计算机(Wearable Computers)等的应
用中变得更为明显[1]。新的技术领域的发展，正在克服传统的输入输出设备的限
制。人类自然形成的与自然界沟通的认知习惯和形式必定是人机交互的发展方向
[2]。语音识别、人脸识别、表情识别、手势识别、动作追踪和感觉反馈等多种近
似于自然沟通的人机交互装置的研究，使计算机能听、能看、能说、能感觉，让
机器的智能化成为可能。
多模式人机接口技术研究的目标是解决计算设备的高智能性和高可用性问
题；研究方向是建立和谐自然的人机交互环境，使得用户可以方便、自然地使用
人类所熟知的方式使用计算机。其中最重要的环节就是要使计算机能够准确无误
地感知包括自然语言、手势语言、面部表情在内的不同人类表达方式，实现拟人
化的人机交互。手势是人类交流中最原始的方式，也是人类交流的必要组成部分。
随着对手势的研究的不断深入，以及计算机技术的发展，手势成为人机交互的有
效方法之一。手势识别作为多模式人机接口技术的重要组成部分，它的研究涉及
心理学、生理学、人工智能、模式识别、计算机视觉、数字图像处理等多个学科
领域，更是模式识别、人工智能和计算机视觉学科的典型案例之一[3]。
将手势识别与控制系统相结合，使控制者能够直接通过自然的手势语言与机
器交流，让机器去适应人，而不是让人去适应机器，使人的工作大为简化，效率
得到提高，实现以人为本的人机交互理念，本文正是从这一出发点来进行研究的。
§1.2 手势识别的研究内容
目前，科学界对手势识别的研究主要集中在基于数据手套和基于机器视觉的
两类方法上。虽然通过数据手套可以获取更加有效的信息，有较高的识别率，但
由于数据手套复杂，穿戴不方便，且成本高昂，所以难以推广。相对于数据手套，
基于机器视觉的方法更加简单，无需接触，更能接近于自然的人类交互模式，是
手势识别发展的方向和研究重点。
基于机器视觉的手势识别主要包括手势的定义，手势特征的提取，手势的识
别等三大部分组成。
1）手势定义，即给每种手势赋予人为设定的含义，最常见的就是通用的手语。
2）手势特征提取，在复杂的背景条件下从图像流中截取出目标来，也就是把
基于手势识别的智能控制系统的研究
2
人们感兴趣的目标提取出来，并将目标以有限的特征量进行描述，它是手势识别
的重点也是难点。手势特征可以分为以下三个等级：来自运动模型的高层次特征；
代表图像本身的特征；通过图像测量得到的低层次特征。与其相对应的特征提取
方法分别为：基于模型的方法，就是试图通过获得的特征信息，重构手掌及各个
手指关节，通常利用基于边缘的人手图像获得运动参数并对人手建模，然后将三
维的人手模型映射成二维的手势图像得到手势高层次特征，从而推断、识别手势；
基于视图的方法，它是先通过二维的亮度图像对人手进行建模，接着将手势建模
成视图序列，以图像自身特征来进行分类识别；基于图像测量的方法，它不需要
对人手完全重构，利用低层的图像测量信息，如手的质心，手运动的光流等作为
特征来描述手势。
3）手势识别，就是把特征参数空间的轨迹（或点）分类到该空间里某个子集
的过程，也就是将提取的特征与预定义的手势特征进行比较，解读出其含义。
§1.3 手势识别方法
手势识别是通过计算机设备来对人的手势进行精确解释，是模式识别的一个
典型应用，分为有静态手势识别和动态手势识别两大类。静态手势对应模型参数
空间内一点，而动态手势则对应模型参数空间内的一条轨迹，因此它们的识别方
法有所不同[4]。目前研究人员对手势识别的方法进行了大量研究，主要是从成功
应用于语音识别和人脸识别领域的方法引申而来。这些方法大致可以分为六类：
隐马尔可夫模型(Hidden Markov Models，HMM)，人工神经网络(Artificial Neural
Networks，ANNs)，模板匹配(Match Template，MT)，动态时间规整(Dynamic Time
Warping，
DTW)，粒子滤波(Particle Filter，
PF)，支持向量机(Support Vector Machine，
SVM)。
§1.3.1 隐马尔可夫模型(HMM)
当前隐马尔可夫模型是比较成熟的，也是应用最多的方法之一。隐马尔可夫
模型最早是由 Leonard E. Baum 等在一系列的统计学论文中描述的，最初的应用
是在 20 世纪 70 年代的语音识别系统中[5]。HMM 是利用参数表示的，来描述随机
过程概率统计特性的双重随机过程模型，它是由马尔可夫链和一般随机过程演化
而来的，其中马尔可夫链用于描述状态的转移，以转移概率描述；一般随机过程
用于描述状态与观察序列间的关系，以观察值概率描述。HMM 的状态是不确定
或不可见的，只有通过观测序列的随机过程才能表现出来，观察到的事件与状态
也并不是一一对应，而是通过一组概率分布相联系。在基于 HMM 的识别方法中，
每个手势可以对应一个 HMM 过程，国内外对该模型的研究有很多[6~10]，同时针
对手势识别的特点，很多学者也提出了改进的方法，例如，将 HMM 与神经网络
第一章 绪论
3
联合使用，就取得了不错的效果[11]。由于手势不可能都简单的表示成一阶的马尔
可夫模型，而高阶的马尔可夫模型非常复杂，需要计算大量的状态概率密度，计
算十分耗时，甚至得不到正确的结果，尤其是在连续的 HMM 模型中更是如此。
但HMM 可以很好的消除模型的时空差异，具有时间尺度不变性，保持了其概率
框架，并且具有自动分割和分类能力，因此，在基于表观的动态手势识别中 HMM
还是得到了广泛的应用。
§1.3.2 人工神经网络(ANNs)
人工神经网络在模式识别中得到了最广泛的应用，同样也被应用于手势识别
中[12,13]。ANNs 主要应用于静态手势识别，其具有自组织和自学习能力，能有效
抗噪声、同时具有很强的容错性和鲁棒性。人工神经网络是通过把大量的简单处
理单元（类似于神经元）广泛地连接起来构成一种复杂的非线性的信息处理网络。
处理单元及其相互连接模式是借鉴人脑神经中神经元的结构及连接机制设计的，
具有四个基本特征：非线性、非局限性、非常定性和非凸性。神经网络具有与人
脑相类似的学习记忆能力、知识概括能力和输入信息特征抽取能力。目前对于神
经网络的研究已经有很多成熟的模型，有 BP 神经网络、模糊神经网络、SOM 神
经网络、RBF 神经网络和 Hopfield 神经网络等。由于神经网络不能很好的处理时
序问题，而且训练计算量大，所以在动态手势识别中应用的很少，但是因为神经
网络特有的非线性适应性信息处理能力，使其常与其它算法相结合使用，如训练
神经网络计算基于 HMM 模型手势识别的输出后验概率等[14]。
§1.3.3 模板匹配(MT)
模板匹配是最原始、最基本和最简单的模式识别方法。通过研究一个特定对
象的图案位于图像中的位置，进而识别对象，其本质就是匹配问题。它的基本原
理就是将被检测对象的模板放到图像中一点，检测二者重合部分的相似度，移动
图像，使其每个点都被比对过一次，最后根据相似度最大的或者超出某一阈值的
点，来确定对象是否存在及其位置[15,16]。模板匹配也多用于静态图像的识别，为
了克服其在计算动态图像时的时间校准问题，研究人员提出了基于时序模板的匹
配方法：动态时间规整(DTW)和有限状态自动机(FSA)。
§1.3.4 动态时间规整(DTW)
基于动态时间规整的识别，是对模型空间在时间轴上进行弹性移动，具有非
线性时间归一化的效果，其实它也是通过逐个匹配各时间点上的特征，来消除手
势在时空上的差异性。HMM，DTW 从本质上来说，都有一个动态规划(Dynamic
Programming)的过程，在简单的时空差异模型上，二者是等价的，DTW 只是 HMM
的简化。DTW 方法在测试模式和参考模式之间允许充分的弹性，从而实现正确
摘要：
展开>>
收起<<
摘要手势是仅次于语言的人与人之间直接交流的信息载体，视觉是人类和动物获取信息的最重要渠道，将视觉与手势相结合来实现对机器的控制是一个重要的研究方向。基于手势识别的智能控制的研究内容主要包括：图像采集，手部图像检测与分割，手势特征提取，手势跟踪识别和机械控制系统等五个部分。针对以上五个部分，本文在前人的基础上进行了进一步的研究。1．综合了图像采集所涉及到的环境照明、摄像机和数据传输等环节的需求，提出了采用容易获取的日光灯作为光源，以普通工业摄像机为主要采集设备，通过编程设定摄像机参数，以USB2.0数据线传输图像的方法，实现了经济、实用、可控性强的图像采集，降低了系统对环境的要求。2．在分析了手...
相关推荐
-
我国基层财政困难的制度成因分析与对策研究VIP免费
2024-09-20 51 -
我国煤电产业链纵向交易合约机制研究VIP免费
2024-09-20 47 -
生产要素视角下的上海市产业结构优化研究VIP免费
2025-01-09 9 -
我国银行业结构与经济结构关系研究VIP免费
2025-01-09 20 -
大数据视角下农业供应链金融研究VIP免费
2025-01-09 17 -
跨国大型综合超市的规划研究VIP免费
2025-01-09 9 -
跨境电商农产品质量安全问题研究VIP免费
2025-01-09 9 -
世界市场的虚拟化与我国国际电子商务发展方向研究VIP免费
2025-01-09 68 -
中国政府对电力行业的价格规制问题研究VIP免费
2025-01-09 33 -
中小企业信息化系统集成技术研究VIP免费
2025-01-09 35
作者：牛悦
分类：高等教育资料
价格：15积分
属性：74 页
大小：1.77MB
格式：PDF
时间：2024-11-19
相关内容
-
跨国大型综合超市的规划研究
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
-
跨境电商农产品质量安全问题研究
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
-
世界市场的虚拟化与我国国际电子商务发展方向研究
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
-
中国政府对电力行业的价格规制问题研究
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
-
中小企业信息化系统集成技术研究
分类：高等教育资料
时间：2025-01-09
标签：无
格式：PDF
价格：15 积分
