基于手势识别的智能控制系统的研究

VIP免费

3.0 牛悦 2024-11-19 4 4 1.77MB 74 页 15积分

侵权投诉

摘要

手势是仅次于语言的人与人之间直接交流的信息载体，视觉是人类和动物获

取信息的最重要渠道，将视觉与手势相结合来实现对机器的控制是一个重要的研

究方向。基于手势识别的智能控制的研究内容主要包括：图像采集，手部图像检

测与分割，手势特征提取，手势跟踪识别和机械控制系统等五个部分。针对以上

五个部分，本文在前人的基础上进行了进一步的研究。

1．综合了图像采集所涉及到的环境照明、摄像机和数据传输等环节的需求，

提出了采用容易获取的日光灯作为光源，以普通工业摄像机为主要采集设备，通

过编程设定摄像机参数，以 USB2.0 数据线传输图像的方法，实现了经济、实用、

可控性强的图像采集，降低了系统对环境的要求。

2．在分析了手势图像的特点之后，提出了基于肤色信息的手部图像的检测和

分割方法。结合肤色在 YCbCr 和HSV 颜色空间上的聚簇特性，完成了手部图像

在复杂背景下的分割，达到了良好的分割效果。

3．采用图像的 7个不变 Hu 矩描述子来表征不同手势。不变 Hu 矩具有平移、

缩放和旋转不变性，是重要的区域特征集。实验证明了 Hu 矩描述子不仅在手势

识别系统中能够正确的表达手势，而且具有特征量少、可靠性高、可区别性强的

特点。

4．提出了一种 CamShift 算法的改进方法。利用初始帧手势模板，使跟踪目

标自动选定；在丢失目标后，通过检索图像中的肤色信息，可重新找回目标，实

现了更加稳定可靠的动态手势跟踪。

5．编写了基于 MatLab 软件的 BP 神经网络程序，对静态手势进行了识别，

为动态手势识别提供了依据；提出了帧差法、背景差分法与肤色信息相结合的动

态手势图像分割法；给出了一套手势命令与机械控制命令之间的映射方法；利用

Visual C++ 6.0 编程语言开发了手势识别以及运动控制软件，实现了“虚空写字”

的应用。

关键词：手势识别虚空写字 BP 神经网络 CamShift 算法

ABSTRACT

Gesture is the information carrier of human direct communication, which is only

second to the language, while visual is the most important channel for information

gaining, so it is the focus and direction for current study to realize human machine

interaction based on the combination of visual and gesture. The research contents of

intelligent control system based on gesture recognition include: image collection, hand

image detection and segmentation, gesture features extraction, gesture tracking and

recognition, mechanical control. Based on precedent research, this thesis tries to make

further study on the five parts mentioned above and make out some methods to achieve

the goal.

1. In accordance with such requirements of image collection as ambient lighting,

camera and data transmission, We take fluorescent lamp as the illuminant which is easy

to gain; ordinary industrial camera as main acquisition device, the parameter of which

could be changed by programming; USB2.0 data cables as the medium for image

transmission. This is a comparatively economic, practical and controllable method for

image acquisition.

2. Based on skin color, a method of detecting and segmenting hand image after

the analysis of hand image features is proposed in this thesis. We combine the cluster

characteristics of complexions in YCbCr and HSV color space, which realizeds

segmentation of hand image in a complicated background.

3. A hand feature descriptors method by Hu moment is presented in this paper.

Seven constant Hu torque descriptors are important regional feature sets, with the

features of translations, scales and rotation invariance, which is demonstrated to be a

good expression in the system.

4. An improvement on CamShift algorithm is proposed in this thesis. We adopt

initial frame gestures template which could select tracking target automatically and

regain the goal through searching color information in the image, if the target is

missing. Proved by practice, these improved algorithms provide a more stable and

reliable dynamic gestures tracking.

5. At last, we compiled a BP neural network according to MatLab software to

make the recognition of static gestures, providing a basis for dynamic gestures

recognition. A method of dynamic image segmentation based on the combinations of

frame differential algorithm, background difference algorithm and complexion

information is put forward in the thesis as well as a mapping method between gesture

command and mechanical control command. It realizes “void writing” based on this

system which is programmed by Visual C++ 6.0.

Key Words: gesture recognition, void writing, BP neural network,

CamShift algorithm

中文摘要

ABSTRACT

第一章绪论 .......................................................... 1

§1.1 引言 ......................................................... 1

§1.2 手势识别的研究内容 ........................................... 1

§1.3 手势识别方法 ................................................. 2

§1.3.1 隐马尔可夫模型(HMM) ......................................2

§1.3.2 人工神经网络(ANNs) .......................................3

§1.3.3 模板匹配(MT) .............................................3

§1.3.4 动态时间规整(DTW) ........................................3

§1.3.5 粒子滤波(PF) .............................................4

§1.3.6 支持向量机(SVM) ..........................................4

§1.4 国内外研究现状 ............................................... 5

§1.5 课题背景与研究意义 ........................................... 6

§1.6 本文的主要工作及组织安排 ..................................... 7

第二章手势识别的研究内容及方法 ..................................... 10

§2.1 手势定义 .................................................... 10

§2.2 手势建模 .................................................... 12

§2.3 手势分割 .................................................... 13

§2.3.1 肤色的图像特征 ......................................... 14

§2.3.2 RGB 空间图像分割 ........................................15

§2.3.3 YCbCr 空间图像分割 ......................................17

§2.3.4 手势图像分割 ........................................... 19

§2.4 手势特征提取 ................................................ 21

§2.5 基于 BP 神经网络的手势识别 ................................... 25

§2.6 本章小结 .................................................... 27

第三章静态手势识别及算法实现 ....................................... 28

§3.1 图像采集 .................................................... 28

§3.2 图像预处理 .................................................. 29

§3.3 静态手势识别 ................................................ 30

§3.3.1 复杂背景下手势分割 ......................................32

§3.3.2 手势特征的提取 ..........................................35

§3.4 静态手势识别及结果分析 ...................................... 37

§3.5 本章小结 .................................................... 41

第四章动态手势跟踪识别 ............................................. 42

§4.1 动态手势目标检测 ............................................ 42

§4.1.1 帧差法 ..................................................42

§4.1.2 背景差分法 ..............................................44

§4.1.3 光流法 ..................................................45

§4.2 动态手势图像分割 ............................................ 45

§4.3 基于改进 CamShift 算法的手势跟踪 ............................. 47

§4.3.1MeanShift 算法 ...........................................47

§4.3.2 改进 CamShift 算法 .......................................49

§4.4 动态手势跟踪实现 ............................................ 50

§4.5 本章小结 .................................................... 52

第五章基于手势识别的智能控制系统 ................................... 53

§5.1 机械控制系统构架 ............................................ 53

§5.2 智能控制系统软件架构 ........................................ 54

§5.3 手势命令定义 ................................................ 56

§5.4 手势识别控制系统软件开发 .................................... 58

§5.5 本章小结 .................................................... 62

第六章总结与展望 ................................................... 63

§6.1 全文的工作总结 .............................................. 63

§6.2 对未来工作的展望 ............................................ 63

参考文献 ............................................................ 65

在读期间公开发表的论文和承担科研项目及取得成果 ...................... 70

致谢 .............................................................. 71

第一章绪论

§1.1 引言

随着计算机技术和人工智能技术的发展，如何让人类和机器摆脱传统机械式

信息交换方式的束缚，实现自然的人机交互，是社会信息化、智能化发展所需要

研究的重要课题之一。传统的使用鼠标和键盘的人机交互方式的局限性越来越明

显，尤其是在虚拟现实(Virtual Real)、可穿戴计算机(Wearable Computers)等的应

用中变得更为明显[1]。新的技术领域的发展，正在克服传统的输入输出设备的限

制。人类自然形成的与自然界沟通的认知习惯和形式必定是人机交互的发展方向

[2]。语音识别、人脸识别、表情识别、手势识别、动作追踪和感觉反馈等多种近

似于自然沟通的人机交互装置的研究，使计算机能听、能看、能说、能感觉，让

机器的智能化成为可能。

多模式人机接口技术研究的目标是解决计算设备的高智能性和高可用性问

题；研究方向是建立和谐自然的人机交互环境，使得用户可以方便、自然地使用

人类所熟知的方式使用计算机。其中最重要的环节就是要使计算机能够准确无误

地感知包括自然语言、手势语言、面部表情在内的不同人类表达方式，实现拟人

化的人机交互。手势是人类交流中最原始的方式，也是人类交流的必要组成部分。

随着对手势的研究的不断深入，以及计算机技术的发展，手势成为人机交互的有

效方法之一。手势识别作为多模式人机接口技术的重要组成部分，它的研究涉及

心理学、生理学、人工智能、模式识别、计算机视觉、数字图像处理等多个学科

领域，更是模式识别、人工智能和计算机视觉学科的典型案例之一[3]。

将手势识别与控制系统相结合，使控制者能够直接通过自然的手势语言与机

器交流，让机器去适应人，而不是让人去适应机器，使人的工作大为简化，效率

得到提高，实现以人为本的人机交互理念，本文正是从这一出发点来进行研究的。

§1.2 手势识别的研究内容

目前，科学界对手势识别的研究主要集中在基于数据手套和基于机器视觉的

两类方法上。虽然通过数据手套可以获取更加有效的信息，有较高的识别率，但

由于数据手套复杂，穿戴不方便，且成本高昂，所以难以推广。相对于数据手套，

基于机器视觉的方法更加简单，无需接触，更能接近于自然的人类交互模式，是

手势识别发展的方向和研究重点。

基于机器视觉的手势识别主要包括手势的定义，手势特征的提取，手势的识

别等三大部分组成。

1）手势定义，即给每种手势赋予人为设定的含义，最常见的就是通用的手语。

2）手势特征提取，在复杂的背景条件下从图像流中截取出目标来，也就是把

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

摘要手势是仅次于语言的人与人之间直接交流的信息载体，视觉是人类和动物获取信息的最重要渠道，将视觉与手势相结合来实现对机器的控制是一个重要的研究方向。基于手势识别的智能控制的研究内容主要包括：图像采集，手部图像检测与分割，手势特征提取，手势跟踪识别和机械控制系统等五个部分。针对以上五个部分，本文在前人的基础上进行了进一步的研究。1．综合了图像采集所涉及到的环境照明、摄像机和数据传输等环节的需求，提出了采用容易获取的日光灯作为光源，以普通工业摄像机为主要采集设备，通过编程设定摄像机参数，以USB2.0数据线传输图像的方法，实现了经济、实用、可控性强的图像采集，降低了系统对环境的要求。2．在分析了手...

展开>> 收起<<

基于手势识别的智能控制系统的研究.pdf

共74页,预览8页

还剩页未读，继续阅读

基于手势识别的智能控制系统的研究

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: