基于双目视觉机理的盲人行走辅助装置研究

VIP免费

3.0 牛悦 2024-11-19 5 4 2.64MB 69 页 15积分

侵权投诉

摘要

世界上约有五千多万盲人，我国盲人数量约占世界盲人总数的四分之一。随

着科技的进步和人们生活水平的不断提高，研究开发盲人辅助工具，从而提高盲

人生活质量，受到人们的广泛关注。近年来，国内外在视障者辅助行走技术方面

开展了大量研究工作。例如采用超声波、红外线或雷达探测障碍物的手杖，能沿

预定路线行走的导航系统，人工视网膜植入技术，引导式机器人等等。但目前各

种盲人辅助行走技术都存在一些缺点，还需要不断研究更完善的辅助行走系统。

本文的研究目的是针对国内外现有盲人导航技术存在的缺点，研究基于立体视觉

机理的辅助行走方法，实现实时性强、准确率高的盲人行走辅助装置。

本文首先阐述了现有盲人辅助行走工具的优缺点，然后分析了盲人辅助行走

装置的应用环境和所需功能，结合相关图像处理技术进行理论研究，提出了一种

基于立体视觉机理的盲人行走辅助装置实现方法，最后对各部分功能的实现进行

了详细阐述。

基于立体视觉机理的盲人行走辅助装置包括对称安装在盲人眼镜前方的左、

右两个同步摄像头、中央处理模块、语音提示模块。左、右两个同步摄像机与中

央处理模块相连，实时处理结果通过语音模块输出。中央处理模块首先对采集到

的图像进行预处理，采用中值滤波减小噪声。然后对左摄像头采集的图像通过

Canny 边缘检测和 Hough 直线变换等方法检测出道路边缘，通过特征区域内灰度

直方图的自动取阈值等算法检测出盲人前进方向上的障碍物。在检测到障碍物后，

通过左右摄像头采集的同一帧图像形成视差图，通过视差图计算出障碍物与盲人

的距离。距离过近时，通过语音模块进行提示。对交通信号灯的检测，采用模板

匹配等方法实现，在信号灯为绿灯时通过语音模块进行提示。

本文对现场采集的实时视频图像在 PC 机上采用 Halcon 软件进行图像处理，

取得了较好的实验结果。

关键字：辅助行走盲人道路边缘检测信号灯检测立体视觉

ABSTRACT

There are more than fifty million blind people in the world, and the number of

blind person in our country is about a quarter of that in the world. With the

development of technology and continuous improvement of living standards, the

studies of assistive devices for visually impaired people have been widely concerned.

Many researches have been done in recent years, such as the canes using ultrasound,

infrared or radar to detect obstacles; the navigation system which can guide the blind to

travel along the predetermined route; the artificial retinal implant; the travel aid robot

and so on. But every method has its drawback. The aim of our research is to propose

the method of travel aid for the blind based on stereo vision and implement the travel

assistive device which is convenient, real time and accurate.

Firstly, the advantage and disadvantage of the existing blind navigation devices

were described in this thesis. Then the application environment and the necessary

features of the device were discussed. After the theoretical study on the image

processing technologies associated, the method of realizing the blind assistant walking

device based on stereo vision was proposed. At last the implementation of the

functions of each part of the device was described.

The travel aid for the blind based on stereo vision device consists of two cameras

that are parallel and synchronous on top of the user cap, a central processing module

and a speech output module. Two cameras connect with central processing module,

and the real time processing results were output by speech. The central processing

module did image preprocessing firstly. Then it detected the road’s edge using Canny

algorithm and Hough algorithm on the image captured by left camera. Then it detect s

the obstacles on the road by auto threshold algorithm using feature area gray level

histogram. After detects the obstacles, it generate disparity image using the same frame

of images captured by the two cameras, and calculate the distance using the disparity

image. If the distance is too small, speech output module will prompt the user. The

detection of the traffic lights was realized by template matching. If green signal light

was detected, the speech output module will prompt the user.

The experimental results of the real time processing of the images captured on the

sites were good, which were achieved on PC using Halcon.

Key Words: Travel aid, Blind, Road contour detection, Traffic light

detection,

摘要

Abstract

第一章绪论..................................................... 1

§1.1 课题背景介绍................................................1

§1.2 国内外研究及其应用现状......................................1

§1.3 论文的主要工作..............................................4

§1.3.1 论文的研究目的............................................4

§1.3.2 研究的内容及框架..........................................4

§1.4 本论文的创新性..............................................5

第二章盲人行走辅助装置的应用分析.................................7

§2.1 盲人行走辅助装置的功能分析..................................7

§2.1.1 盲人行走辅助装置的应用环境分析............................7

§2.1.2 盲人行走辅助装置的功能介绍................................7

§2.2 本文的技术难点分析与解决方案................................8

§2.2.1 盲人行走辅助装置的技术难点分析............................8

§2.2.2 盲人行走辅助装置的技术难点解决方案........................9

§2.2.3 盲人行走辅助装置的技术效果总结............................10

§2.3 系统方案介绍................................................10

§2.3.1 硬件方案..................................................10

§2.3.2 软件流程..................................................11

第二章双目摄像头标定.............................................14

§3.1 基于 HALCON 图像处理软件的双目摄像头标定原理.................14

§3.2 双目摄像头标定过程及处理结果................................14

§3.2.1 面阵摄像机的摄像机模型....................................14

§3.2.2 单目摄像机的内外参数确定..................................15

§3.2.3 单目摄像机的标定过程......................................16

§3.2.4 双目摄像头的标定过程及处理结果............................17

§3.3 小结........................................................20

第四章道路边缘提取和偏离道路检测.................................22

§4.1 图像预处理..................................................22

§4.1.1 彩色图像的灰度转换........................................22

§4.1.2 中值滤波..................................................22

§4.2 常用的边缘检测方法..........................................23

§4.2.1 梯度算子..................................................24

§4.2.2 Canny 算子................................................26

§4.3 Hough 变换直线检测方法......................................30

§4.4 本装置采用的道路边缘检测方法及处理结果......................31

§4.5 本装置采用的偏离道路检测方法详..............................33

§4.6 小结................................................... ....34

第五章障碍物检测和测距...........................................36

§5.1 常用的目标检测方法..........................................37

§5.1.1 光流法....................................................37

§5.1.2 帧差法....................................................37

§5.1.3 减背景法..................................................38

§5.2 本装置采用的一种新的目标检测方法及处理结果..................38

§5.2.1 改进的自适应阈值范围确定法的目标检测方法..................38

§5.2.2 形态学基本概念............................................40

§5.2.3 基于改进自适应阈值范围确定的目标检测方法..................42

§5.3 本装置距离测量的方法.......................................47

§5.4 小结.......................................................50

第六章信号灯检测................................................52

§6.1 模板匹配的基本算法.........................................53

§6.2 信号灯检测的详细方法及结果.................................54

§6.3 小结.......................................................59

第七章总结与展望................................................60

§7.1 论文总结...................................................60

§7.2 本文工作有待完善之处及展望.................................61

参考文献........................................................62

在读期间公开发表的论文和承担科研项目及取得成果..................66

致谢............................................................67

第一章绪论

§1.1 课题背景介绍

随着社会的和谐发展，科技的全面进步，人们的生活质量已经大幅提高。为

了响应党中央构建和谐社会的号召，关爱他人已经成为我们生活的主题。世界上

约有五千多万盲人，我国盲人数量约占世界盲人总数的四分之一。盲人最大的困

难在于对这个世界的未知，他们失去了视觉，行动范围受到限制，行为的自主性

受到限制。因此如何帮助盲人解决行走的困难，帮助他们了解世界，适应社会，

是盲人建立自信，享受美好生活的关键。

近年来，国内外学者在视障者辅助行走技术方面开展了大量研究工作。

我国在盲人导航方面的研究尚处于起步阶段，研制出了一些基于单片机超声

波等功能简单的导航仪，这种导航仪通过超声波发出及返回的时间差来计算距离。

这种导航手杖只能探测近距离障碍物，而且在测量的准确率，反应速度上都存在

一些缺陷。欧美等发达国家在盲人导航技术方面起步较早，已经取得了一些科研

成果。现在已经有将生物技术，图像处理技术，GPS 导航等先进技术运用到盲人

导航系统中，给盲人的生活带来了方便。

总体来讲，国内外在盲人辅助行走技术方面的研究主要包括以下几方面：采

用超声波、红外线或雷达探测障碍物的手杖；能沿预定路线行走的导航系统；人

工视网膜植入技术；引导式机器人等。但目前各种盲人辅助行走技术都存在局限

性与各种缺点。本论文采用立体视觉技术，使用双目摄像头采集图像，对采集到

的现场视频图像序列进行处理，检测出图像中的道路边缘，找出图像中的障碍物，

并计算障碍物与盲人的距离，然后通过语音对盲人进行提示。在盲人过马路时根

据信号灯的颜色进行提示，可有效帮助盲人在行动中了解到未知环境的状况，为

盲人的生活和行动提供方便，具有较高的科学研究意义和实用价值。

§1.2 国内外研究现状

国内外已经研究开发了多种辅助视障者行走的工具，但每种方法都存在一定

的局限性与各种缺点。下面简述几种典型的盲人辅助行走工具及在辅助盲人识别

交通信号灯、识别障碍物、获得道路轮廓等方面的研究进展。

（1）人工视觉系统

2000 年，WM. H. DOBELLE 在世界医学权威杂志《ASAIO Journal》中提出

一种新的理论，把摄像头与视觉神经连接构成人工视觉系统。在盲人佩戴的眼镜

片上装置一个摄像头，把摄像头拍摄的画面传输到盲人随身携带的笔记本进行处

理，通过先进的图像处理技术，在电脑中模拟出一个与现实环境极为相似的虚拟

基于双目视觉机理的盲人行走辅助装置研究

的环境，把处理的结果传输到大脑皮层的视觉神经末梢，使盲人的大脑感受到这

种模拟的视觉，从而在盲人的脑海中形成一种虚拟的环境存在，帮助盲人了解周

围的环境。但是这个人工视觉系统目前还存在着一些技术上的问题，发明者只是

提出了一种新的理论，而并没有完全实现，还需要科学技术的进一步发展才能实

现。

2008 年，王星也研究了基于电刺激的人工视网膜技术。但人工视网膜植入技

术成本高，技术复杂，不易推广。

（2）结合超声波测距和机器视觉的盲人导航系统

2006 年，美国亚利桑那州立大学的四位科学家（Troy L. McDaniel ，Kanav

Kahol ，Daniel Villanueva，Sethuraman Panchanathan）研制出了一种基于超声波

测距系统和机器视觉的盲人导航系统。该导航系统的基本原理为：超声波测距系

统和机器视觉共同作用，对盲人进行导航和远端物体的感知。首先建立一个物体

特征库，用摄像头实时采集图像，并使用嵌入式芯片对采集的图像进行处理和判

断，提取出图像中各个物体的特征（如形状，大小等），用提取出的特征和特征库

中各物体的特征进行匹配，若匹配成功，则使用超声波测距系统对物体进行测量，

并使用语音系统对盲人进行导航。

这种基于超声波测距系统和机器视觉的盲人导航系统结合了传统的超声波测

距和双目视觉技术，但缺点是成本较高，对于中国大多数盲人来说很难承受这样

高昂的费用。并且这种方法只能识别有限的特征库中的物体，对非特征库的物体

或匹配不成功的物体将不能进行测距及避障。

（3）GPS 盲人导航设备

2009 年，美国科学家 JasonPerkins 设计了一款名为 PeepoGPSDevice 的盲人导

航设备，是专门为导盲犬设计的。整个系统分成手持端和导盲犬端两部分。盲人

手持端是一台声控 GPS，说出目的地，它能规划出路线，通过线缆将命令以震动

的方式传输到导盲犬端。导盲犬端“穿”在导盲犬身上，通过导盲犬端的震动引

导导盲犬的行走路线。

但这种为导盲犬设计的 GPS 导航设备不适用于没有导盲犬的盲人，而且导盲

犬价格昂贵，不易普及。

（4）辅助盲人探测障碍物的研究

2007年，夏岳勇和杨峻[2]设计出了一种名为导盲鞋的盲人导航仪。这种导航仪

可在贴近地面的前进方向上利用超声进行水平扫描障碍物,以协助盲人在行走时

有效规避障碍物。此仪器包括两部分,一是鞋内装置的用于发现障碍物的超声波传

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

摘要世界上约有五千多万盲人，我国盲人数量约占世界盲人总数的四分之一。随着科技的进步和人们生活水平的不断提高，研究开发盲人辅助工具，从而提高盲人生活质量，受到人们的广泛关注。近年来，国内外在视障者辅助行走技术方面开展了大量研究工作。例如采用超声波、红外线或雷达探测障碍物的手杖，能沿预定路线行走的导航系统，人工视网膜植入技术，引导式机器人等等。但目前各种盲人辅助行走技术都存在一些缺点，还需要不断研究更完善的辅助行走系统。本文的研究目的是针对国内外现有盲人导航技术存在的缺点，研究基于立体视觉机理的辅助行走方法，实现实时性强、准确率高的盲人行走辅助装置。本文首先阐述了现有盲人辅助行走工具的优缺点，然后...

展开>> 收起<<

基于双目视觉机理的盲人行走辅助装置研究.pdf

共69页,预览7页

还剩页未读，继续阅读

基于双目视觉机理的盲人行走辅助装置研究

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: