基于机器视觉虚拟输入方法的研究

VIP免费

3.0 陈辉 2024-11-19 9 4 1.55MB 68 页 15积分

侵权投诉

摘要

目前，虚拟现实技术个行业中得到了越来越多的应用。在传统的虚拟现实环

境中人机交互设备中存在设备太过昂贵，使用环境收到限制等问题。随着计算机

技术的发展，使用计算机视觉技术来解决虚拟现实中人机交互的问题逐渐成为目

前在人机接口研究方面一个值得讨论的思路。

从计算机捕获的实时的视频流中来把人手自动在每一帧图像中定位和提取是

进行手势识别的首要条件。为了使后期手势跟踪获得较高的准确性，在图像预处

理阶段，本文先将采集到的图像进行无冗余的帧分离操作，将我们感兴趣的手势

图像从视频流中分离出来，然后进行灰度图转换、平滑去噪与边缘检测；在手势

跟踪阶段，本文采用基于肤色的高斯模型与经过改进的光流场跟踪算法相结合的

方法，实现了复杂背景下实时快速的手势跟踪。该方法在保证鲁棒性较高的同时，

算法的执行效率与检测的准确性都较高。

对于动态手势的识别方法，考虑到动态手势本身的一些特点。本文采用模板

匹配的方法对手势的形状进行识别。实验结果表明，对孤立手势的识别率达到了

93%。

本文还论述了在基于机器视觉的虚拟现实人机接口的软件开发过程中，按照

软件工程的架构要求，采用了模块化的开发方式。首先用 VRML 语言设计了一个

虚拟的场景，采用了一种 API 函数较多虚拟场景浏览器作为虚拟环境。然后，用

Visual C++.NET 2003 结合 Matlab 开发实现了论文在图像预处理、手势跟踪识别阶

段所采用的算法。考虑到手势识别模块可以作为一个可以广泛使用的模块，最后

通过 TCP/IP 技术，将虚拟场景模块与手势识别模块集成到一起。

关键词：虚拟现实机器视觉图像处理手势识别模板匹配

ABSTRACT

Nowadays, virtual reality is widely used in many industry and advertising fields.

In traditional virtual reality apply circumstance, the equipment of human-machine

interface is often very expensive and its requirements on apply circumstance is very

high. With the development of computer science, using machine vision technology as

a possible means to solve some difficulties in human-machine interface of virtual

reality is becoming a direction that worth discussion.

It's the primary task for gesture recognition to find and extract human hand

automatically in each frame that obtained by computer from the real-time video flow.

In order to acquire high accuracy in the gesture tracking of later process, we extract

the frames that we are interested in from catch videos, and then we turn RGB color

images to gray-scaled images, take the smoothing measure to reduce the noise in the

images and the edge detecting action in the period of preprocess. In gesture tracking

process, this thesis employ a method to locate human hand in a complex background

is proposed. The moving hand's position can be found based on the combination of

skin-color based on Gauss model and revised optical flow. This method could

guarantee not only high robust but also high algorithm efficiency and detecting

accuracy.

For the recognition of dynamic gesture, in consideration on features of dynamic

gesture, in this thesis, a method is proposed for hand trajectory recognition based on

template matching. Experiments manifested, the accuracy on recognition of four

separated gesture reached 93% using this method.

In this paper narrated the modeling development method according to the

software engineering architecture during the implement of human machine interface

of virtual reality based on machine vision. First, using VRML build a virtual scene

and make use of a virtual reality browse with more API function. Then, using Visual

C++.Net 2003 with Matlab 7.3 implement the algorithm of image preprocessing,

gesture recognition Considering the gesture recognition module can be used as a

common component, we integrate the virtual scene module and gesture recognition

module via TCP/IP technique.

Key Word: Visual Reality, Machine Vision, Image Process, Gesture

Recognition, Template-matching

中文文摘

ABSTRACT_Toc191320936

第一章绪论 ...................................................................................................................1

§1.1 机器视觉概述 ......................................................................................................1

§1.2 背景知识 ..............................................................................................................2

§1.2.1 模式识别理论 ...............................................................................................2

§1.2.2 基于视觉的手势识别 ...................................................................................4

§1.2.3 手势分割与跟踪方法介绍 ...........................................................................5

§1.2.4 手势建模 .......................................................................................................6

§1.2.5 手势分析 .......................................................................................................7

§1.2.6 手势识别 .......................................................................................................8

§1.3 本论文所做工作 ................................................................................................10

§1.4 论文各章概要 ....................................................................................................11

第二章图像预处理与手势跟踪 ...................................................................................12

§2.1 图像视频流的获取 ............................................................................................12

§2.2 捕获到的图像色彩模式 ....................................................................................13

§2.2.1 RGB 模式 ................................................................................................... 13

§2.2.2 灰度（Grayscale）模式 .............................................................................13

§2.3 RGB 模式转换到灰度模式 ............................................................................... 14

§2.4 图像平滑与增强 ................................................................................................14

§2.4.1 中值滤波法 .................................................................................................15

§2.4.2 图像增强 .....................................................................................................16

§2.5 图像分割 ............................................................................................................17

§2.5.1 阀值与图像分割 .........................................................................................18

§2.5.2 基于肤色的手势分割 .................................................................................19

§2.6 手势跟踪 ............................................................................................................22

§2.6.1 光流场的基本方程 .....................................................................................23

§2.6.2 帧间差阀值法 .............................................................................................24

§2.6.3 光流场的计算 .............................................................................................24

§2.7 手势起始与终止的判断 ....................................................................................25

§2.8 实验分析 ............................................................................................................26

第三章基于图像匹配的目标识别方法 .......................................................................27

§3.1 图像匹配算法 ....................................................................................................27

§3.2 图像的特征研究 ................................................................................................28

§3.2.1 边缘检测与提取 .........................................................................................30

§3.2.2 彩色边缘的检测 .........................................................................................32

§3.3 基于模板的匹配 ................................................................................................33

§3.4 复杂场景下匹配算法的实现 ............................................................................35

§3.5 图像匹配实验以及实验结果 ............................................................................37

第四章基于机器视觉的虚拟现实人机接口的设计 ...................................................38

§4.1 系统总体设计 ....................................................................................................38

§4.1.1 系统的工作流程 .........................................................................................38

§4.1.2 系统设计的原则 .........................................................................................38

§4.1.3 系统模块划分 .............................................................................................39

§4.2 场景子系统的设计 ............................................................................................40

§4.2.1 场景子系统的设计思想 .............................................................................40

§4.2.2 场景子系统开发环境 .................................................................................40

§4.2.3 场景子系统模块划分 .................................................................................41

§4.3 手势识别子系统设计 ........................................................................................42

§4.3.1 手势识别子系统流程设计 .........................................................................42

§4.3.2 手势识别子系统设计原则 .........................................................................42

§4.3.3 手势识别子系统设计方案 .........................................................................43

第五章基于机器视觉的虚拟现实人机接口的实现 ...................................................45

§5.1 场景子系统的实现 ............................................................................................45

§5.2 手势识别子系统的实现 ....................................................................................49

§5.2.1 手势图像的获取 .........................................................................................50

§5.2.2 RGB 图像转为灰度图像的实现 ................................................................ 51

§5.2.3 中值滤波的实现 .........................................................................................53

§5.2.4 图像分割的实现 .........................................................................................55

§5.2.5 使用光流法对手势跟踪的实现 .................................................................57

§5.2.6 基于模板匹配的手势识别的实现 .............................................................57

§5.3 场景子系统与手势识别子系统的集成 ............................................................60

第六章结论与展望 .......................................................................................................62

参考文献 .........................................................................................................................63

在读期间公开发表的论文和承担科研项目及取得成果 .............................................65

第一章绪论

§1.1 机器视觉概述

在虚拟现实中人机交互一直是科学研究的一个热点。随着计算机应用的深

入，同时伴随着计算机及相关学科的迅猛发展，符合人际交流习惯的新颖人机交

互技术的研究变得异常活跃，并取得了一定的进展。人机交互技术已经从以计算

机为中心逐步转移到以人为中心。

在当前的虚拟现实环境中，人机的交互主要分为三类。第一类，基于数据手

套的交互。运用连接在手套上的传感器将手指运动转换为电信号以确定手势，手

指的相对位置是由附加的传感器决定的，该传感器通常是连接在数据手套上的带

磁性的或有关声音的传感器，利用数据手套和位置跟踪器测量手势在空间运动的

轨迹和时序信息，识别率较高，但系统需要使用者穿戴复杂的数据手套和位置跟

踪器，给使用者造成一定的不便，目前输入设备比较昂贵，很难大量推广；第二

类，基于鼠标、键盘、触摸屏的交互。将手在外部设备上面的运动作为输入；第

三类，基于视觉的人机接口。相对的，基于视觉的交互方式的优点是无需手套，

非接触式，因而更符合人机交互“自然”的要求。当今计算机的快速计算能力使

实时视觉计算成为可能，从而成为当前研究的主要万向。国内外已有众多的学者

对此课题从不同的角度、不同的层次进行了一定的研究工作。将机器视觉系统用

于人机接口，它模仿人类接受周围信息的方式，从而实现直接的、自然人机交互

方式。

基于视觉的手势检测与识别使用一个或多个摄像头结合计算机视觉技术来

分析并解释所捕获的图像信息，因而分为基于单目视觉的识别系统和基于多目视

觉的识别系统两类。基于单目视觉的识别即仅通过单个摄像机来采集图像，这样

可以建立手势的平面模型，并且基于这样的模型进行识别。这种方法模型简单，

处理的数据量较小，识别时间短，但由于仅有一个视角，所以这种方法对于用户

的输入限制较大。基于多目视觉的手势识别即通过两个或是两个以上的摄像机来

采集图像，这样可以建立人脸和手势的立体模型，并进行立体识别。这种方法对

用户的输入限制较小，可以实现更加自然的人机交互方式，但由于立体模型较平

面模型要复杂得多，需要处理的数据量很大，图像识别所需的时间会比较长。考

虑系统的实时性，本文采用基于单目视觉的识别系统。由于人手和手势本身具有

的多样性、多义性以及时间和空间上的差异性等固有特性，加之人的手掌、手势

是复杂变形体以及视觉本身的不确定性，以及它是一门涉及到模式识别、神经网

基于机器视觉的虚拟输入方法的研究

络、人工智能、数字图像处理、计算机视觉等多个学科的交叉研究领域,使得无

论在技术上还是在理论上，基于视觉的人脸和手势识别的研究都是一项极富挑战

性的多学科交叉研究课题。本论文重点研究复杂背景下单目视觉的手势检测、识

别与运动轨迹的定位。

§1.2 背景知识

在介绍本论文的核心部分－—手势识别与轨迹之前，先把相关的知识加以阐

述。相关知识主要包括以下两方面，第一是模式识别理论简介，第二手势识别与

轨迹跟踪的方法介绍。

§1.2.1 模式识别理论

模式识别理论诞生于 20 世界 60 年代，随着 40 年代计算机的出现，50 年代

人工智能的兴起，模式识别在 60 年代初迅速发展为一门学科。模式是指存在于

时间或空间中可观察的，我们可以区别他们是否相同或相似的事物。但是模式不

是指事物本身，而是我们从事物可以获取的信息。模式识别的作用和目的就是将

某一具体事物正确的归入某一类别，其主要特点就是采用数值模型来表达对象的

模型。通常先定义一个量度，把对象的各个特征及其变化的规律进行定量的描述，

其结果得到一组参数或者参数集合。一旦特征量度和特征参数被确定，则在识别

对象物体时，可采用特征量度取得它们的特征参数，然后根据参数落在哪个范围

内，就可以判断对象所属。

有两种基本的模式识别方法，即统计模式识别方法与结构（句法）模式识别

方法，与此对应的模式识别系统都有两个过程所组成，即设计与实现。设计是指

用一定数量的样本进行分类器设计。实现是指所设计的分类器对待识别的样本进

行分类决策。基于统计方法的模式识别系统主要由 4个部分组成：数据获取，预

处理，特征提取与选择，分类决策，如图 1-1 所示。

图1-1 模式识别系统的组成

1.数据获取

为了使计算机可以运算符号来表示所研究的对象。通常输入对象的信息有 3

种类型，即：

第一章绪论

(1)二维图像如文字、指纹、地图、照片这类对象。

(2)一维波形如脑电图、心电图、语音信号、机械振动波形等。

(3)物理参量和逻辑值前者如在疾病诊断中病人的体温变化以及各种化验

数据等；后者如对某参量的正常与否的判断或对症状有无的描述，如疼痛的感觉，

可以用逻辑值 0和1表示。在引入模糊逻辑系统中，这些值还可以包括模糊逻辑

值，比如大、比较大、很大等等。

通过测量、采样、量化，可以用矩阵或向量表示二维图像或一维波形。这就

是数据获取的过程。

2.预处理

预处理的目的是去除信号中的噪声，加强有用的信息，并对输入测量仪器的

信号的扰动或其它因素所造成的退化的现象进行复原。这里具体到图像包括图像

信息的增强、边缘提取、图像重现等等一系列的工作。

3.特征的提取与选择

由图像所获得的数据量非常的大。例如，一个文字图像可以有几千个数据，

一个心电图的波形一般也携带有几千个数据，一个卫星所拍摄的遥感图像的数据

量就更为大。为了有效的实现分类识别，就要对原始数据进行交换，得到最终反

映分类的本质特征。这就是特征提取和选择的过程。一般我们把原始数据组成的

空间叫做测试空间，把分类识别赖以进行的空间叫做特征空间，通过变换，可把

维数较高的测量空间表示的模式变为维数较低的特征空间表示的模式。在特征空

间中的一个模式通常也叫作一个样本，它往往可以表示为一个向量。特征提取在

模式识别中是不可忽视的一个重要环节，由于一般原始数据的信息量太大，而通

常无法直接对这些数据进行操作，所以在一般的模式识别系统中都必须获得样本

的特征。然而，由于数据的复杂性，选取特征的工作比较困难，所以选择一个高

效的特征在整个系统中尤为关键。

4.分类决策

分类决策就是在特征空间中用统计方法把被识别对象归为某一类别。基本做

法是在样本训练集基础上确定某个判决规则，是按这种判决规则对被识别对象进

行分类所造成的错误识别率最小或引起的损失最小。分类器的设计也是非常重要

的，一个好的、有效的分类器可以在算法和实时性的允许范围内，获得最小分类

的错误率。

此外，在实际的识别应用中，往往引入相关的功能处理模块，通过它提供关

于识别图像周围环境的相关信息来提高识别精度。例如，可以利用语言模型或者

人工语法约束获得支持。

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

摘要目前，虚拟现实技术个行业中得到了越来越多的应用。在传统的虚拟现实环境中人机交互设备中存在设备太过昂贵，使用环境收到限制等问题。随着计算机技术的发展，使用计算机视觉技术来解决虚拟现实中人机交互的问题逐渐成为目前在人机接口研究方面一个值得讨论的思路。从计算机捕获的实时的视频流中来把人手自动在每一帧图像中定位和提取是进行手势识别的首要条件。为了使后期手势跟踪获得较高的准确性，在图像预处理阶段，本文先将采集到的图像进行无冗余的帧分离操作，将我们感兴趣的手势图像从视频流中分离出来，然后进行灰度图转换、平滑去噪与边缘检测；在手势跟踪阶段，本文采用基于肤色的高斯模型与经过改进的光流场跟踪算法相结合的方法...

展开>> 收起<<

基于机器视觉虚拟输入方法的研究.pdf

共68页,预览7页

还剩页未读，继续阅读

基于机器视觉虚拟输入方法的研究

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: