视频序列的人脸检测算法研究

VIP免费

3.0 高德中 2024-11-19 9 4 3.26MB 59 页 15积分

侵权投诉

摘要

人脸检测是计算机视觉、计算机图形学中的一个研究热点和难点，与静态图

像相比，视频图像提供了更丰富的信息，比如运动信息，环境信息等，视频中的

人脸检测有着更高的要求，既要能对成像条件、光线和人脸姿态变化有良好的适

应性，又要兼顾检测正确率和实时性要求。

本文针对视频中的人脸检测技术展开研究，提出一种肤色分割、跟踪与

AdaBoost人脸检测相结合的人脸检测算法。对图像进行光照补偿，颜色平衡等预

处理，采用人脸肤色、几何形状等特征进行肤色检测和人脸轮廓的提取、定位，

并以头发灰度特征作为辅助，对复杂背景下的人脸轮廓大小进行估计。结合

AdaBoost人脸检测算法，进行局部检测与全图检测。局部检测只对候选轮廓区域

进行检测，这样能提高检测的速度，而全图检测用来进行肤色动态学习，对检测

定位到的人脸区域进行颜色学习，更新肤色模型，进一步的消除光源颜色、图像

采集设备等因素引起的色彩偏差影响，使肤色分割更加准确。采用CamShift算法

与多特征匹配相结合的跟踪算法对轮廓进行匹配跟踪，将每一帧的人脸检测依靠

跟踪来判决，即参考跟踪序列的历史检测信息来对当前帧的轮廓进行分析判定是

否为人脸。

算法在.NET平台上采用EmguCV类库进行实现，该算法能有效利用AdaBoost

算法检测出率高、误识别低等优点，同时克服了该算法计算量大的缺点，通过参

考跟踪序列的历史检测信息，算法对偏转角度很大的侧面人脸也能形成判决，整

体误识别较低，该系统算法能较好地满足安全监控、视频会议等场合的人脸检测

与跟踪。

关键词：肤色模型肤色分割 Haar 检测人脸跟踪

ABSTRACT

Face detection is one of the hot spots and difficult points in computer vision and

computer graphics, Compared with the still pictures, Video-based pictures can provide

much richer image information, such as sports information 、environmental

information, Video-based face detection has a higher demand, It should be more

robust to different imagery conditions 、illumination conditions and the face pose,

Additionally, it demands detecting accuracy and ensures the real-time face detecting.

This thesis mainly focuses on video-based face detection and tracking. And

proposed the face detection algorithm based on color segmentation 、tracking and

AdaBoost method. At first, preprocess the frame with light compensation and color

balance, detect the face color、

extract and locate face contours using features such as

skin color、geometry. Additional, under complex background, estimate the size of the

contour the hair gray feature. There are two detections: local detection and global

detection based on AdaBoost detecting method, local detection executes on face

contour candidates to grade the contour, and global detection executes on entire image

in order to learn the color feature in the face area so that the color model can be

updated, using the updated color model can further eliminate the influence of

color-deviation caused by the color difference of illuminant or differential of video

capture equipments, and color areas can segmented more exactly. Track contours by

using the nearest matching based on multi-features combined with the Continuously

Adaptive Mean Shift (CamShift) algorithm. Finally decide whether the contour is a

face or not according to the traces, that is, analyze contours by considering the history

score of tracking sequences for each contour on the current frame.

The entire algorithm is realized on the .NET platform by using EmguCV class

library and can effectively use the advantage of AdaBoost algorithm that have a high

rate of face detection and a low rate of error recognition but reduce the computation.

The algorithm can judge many face poses according to the history detecting

information of tracking sequences. The face detection system based on the algorithm

can well satisfy the human-computer interaction application on face detection and

tracking in occasions such as the security monitoring、video conference and so on.

Key words: Color model, Color segmentation, Haar detection, Face

tracking

中文摘要

ABSTRACT

第一章绪论 ........................................................................................................... 1

§1.1 课题研究背景及意义 ................................................................................. 1

§1.2 人脸检测的研究 ......................................................................................... 1

§1.3 本文主要研究内容 ..................................................................................... 3

第二章肤色检测与轮廓提取 ................................................................................... 5

§2.1 色彩空间 ..................................................................................................... 5

§2.1.1 RGB 颜色空间 .................................................................................. 5

§2.1.2 HSV 颜色空间 .................................................................................. 6

§2.2 肤色模型 ..................................................................................................... 9

§2.3 人脸检测与定位 ....................................................................................... 12

§2.3.1 图像预处理 ..................................................................................... 12

§2.3.2 轮廓分析 ......................................................................................... 15

第三章 AdaBoost 人脸检测与应用改进 .................................................................20

§3.1 AdaBoost 人脸检测算法 ..............................................................................20

§3.1.1 AdaBoost 算法 .................................................................................20

§3.1.2 类Haar 特征 ....................................................................................21

§3.1.3 积分图 ............................................................................................. 23

§3.1.4 分类器 ............................................................................................. 23

§3.1.5 分类器源码分析 ............................................................................. 25

§3.2 基于 AdaBoost 算法的改进应用 ............................................................. 27

§3.2.1 局部检测与全局检测 ..................................................................... 27

§3.2.2 肤色动态学习 ................................................................................. 30

§3.2.3 评分的设计 ..................................................................................... 31

§3.3 本章小结 ................................................................................................... 32

第四章视频序列的人脸跟踪 ................................................................................. 33

§4.1 引言 ........................................................................................................... 33

§4.2 Mean Shift 算法 ........................................................................................ 33

§4.3 CamShift 算法 ........................................................................................... 34

§4.4 基于多特征的目标跟踪算法 ................................................................... 38

第五章基于人脸检测的视频监控系统设计与应用 ............................................. 42

§5.1 视频监控系统设计 ................................................................................... 42

§5.1.1 视频监控应用设计 ......................................................................... 42

§5.1.2 视频分析界面设计 ......................................................................... 45

§5.1.3 人脸检测算法实现 ......................................................................... 48

§5.2 实验结果与分析 ....................................................................................... 49

第六章总结与展望 ................................................................................................. 51

§6.1 本文工作总结 ........................................................................................... 51

§6.2 展望 ........................................................................................................... 51

参考文献 ..................................................................................................................... 53

在读期间公开发表的论文和承担科研项目及取得成果 ......................................... 56

致谢 ......................................................................................................................... 57

第一章绪论

§1.1 课题研究背景及意义

在信息科技高速发展的今天，视频监控系统无论在军事或经济方面都得到了

广泛发展和应用，数字视频系统不仅符合信息产业的发展趋势，也蕴含着巨大的

商业价值，由此产生的数字信息化产品也不胜枚举，如小区的安全监控系统，银

行的 ATM 监控，交通监控等。在大多数系统中，视频数据主要作为事后的证据，

真正的监控工作往往由人力来完成，使监控系统丧失了应用的主动性和实时性，

也消耗了大量的人力，还有一些应用大量需求无人值守的自动视频监控系统，用

以预防犯罪，这些系统中能一定程度地减少人力参与，系统能做到自动对复杂场

景中出现的人进行观测、行为分析及移动拍摄。

随着计算机视觉、模式识别技术、视频技术的不断发展，视频监控系统也在

不断向智能化方向发展，通过计算机视觉对视频图像中的人进行检测与跟踪来描

述、分析或预判其行为。人脸蕴含大量表情变化，间接反映着人类状态、身份等

信息，是人类极为重要的一个生物特征，因此，基于机器视觉的人脸检测与跟踪

技术受到越来越多的重视，在视频会议、智能化监控系统及一些人机交互领域都

有着广泛的应用前景和价值。

与基于静止图像的检测不同，视频检测往往没有较强约束条件，且存在很多

难点：(1)五官细节特性、表情变化复杂，视频中人脸存在多样性；(2)人脸姿态、

方向及大小都可能在变化；(3)人脸可能存在遮挡，如来自眼镜头发或其他装饰

物的自遮挡和不同人脸或其他物体的互遮挡。除此之外，摄像机的成像环境、光

照变化、图像分辨率等因素也对检测造成重要影响，使人脸检测与跟踪面临不小

的挑战。人脸检测与跟踪是一个涉及模式识别，机器视觉，图像处理等多领域的

课题，视频中的人脸检测既存在上述诸多检测困难也面临监控实时性要求，如何

能在不失实时性的前提下，综合考虑各方面因素，克服检测存在的困难，成功建

立实时高效的人脸检测系统，是一个重要的研究课题，具有重大研究意义。

§1.2 人脸检测的研究

信息高速发展下，目前人脸检测与跟踪已分作独立课题被研究，越来越多的

人们开始重视这方面科研工作，大量科技工作人员和机构开始展开相关项目的研

究，并提出了很多方法应用于不同领域，并取得了可喜的成果。例如，国外比较

著名的有MIT[1]的AI实验室、CMU[2-3]的人机接口研究室，国内例如清华大学、

中科大、中科大计算所等机构都有专门从事人脸检测算法研究的专门人员。

视频序列的人脸检测算法研究

国内此方面的研究已有不少成果，例如，清华大学的艾海舟采用差分图像方

法对办公桌前的人像进行定位跟踪，并做了实际环境的测试[4]；中科院自动化研

究所[5-7]利用仿射变换对人脸变形等复杂环境下的人脸进行了检测跟踪。大量有

关人脸检测跟踪的论文在FG、RATFG-RTS、ICIP等重要国际会议上发表。

人脸检测是指对输入图像或视频进行分析，确定人脸个数、大小和位置，

人脸图像包含的特征比较丰富，轮廓特征（如人脸轮廓近似为椭圆），头发、下

颚等启发式特征，结构特征，如对称性，投影特征，在彩色图像中，颜色信息（肤

色，发色）作为重要的特征被用于检测，视频序列中，除了上述人脸特征外，还

包含物体运动信息，可以考虑结合人脸的运动，参考前后帧的信息进行检测。尽

管人脸检测算法中可供参考特征丰富多样，但哪些特征在检测中起关键作用，需

进一步研究。目前的方法可总结为四类：1.基于知识的方法；2.基于特征不变量

的方法；3.模板匹配的方法；4.基于表象的方法。

1.基于知识的方法

这类方法是通过认识总结人脸特征的共性，并将这些共性特征归结为一系列

由粗到细的规则。先验知识告诉我们，人脸的局部特征分布总存在一定规律，例

如，正面人脸左右对称且近似为一椭圆形或圆形、嘴巴中心点与鼻子中心的连线

基本与两眼之间连线垂直等，这些特征组合后可形成描述人脸局部特征的一组规

则，这些规则很好地描述了人脸局部特征之间的相对位置和距离，在检测时，当

满足这些规则时，则认为在当前区域检测到人脸。这类方法的缺点在于所谓的规

则缺乏一个良好的定义，即若规则太多和严格，会导致很多人脸不符合规则要求，

造成许多漏检，而规则过于宽松则产生大量误检。对于视频中姿态不同的人脸，

有些规则无法达成，因此，这类方法主要对背景简单的正面人脸图像检测效果良

好，对于视频序列人脸检测效果欠佳。

例如，Yang 和Huang[8]提出了基于镶嵌图的方法，采用由粗到细的多级结构

来检测人脸。Leung[9]通过提取组合脸部特征，统计特征之间的位置关系来实现

多种姿态的人脸检测，该算法能容忍人脸存在部分遮挡。

2.基于特征不变量的方法

这类方法考虑到了人脸姿态、光照条件、视角的变化，寻找人脸在这些变化

下仍然存在的局部特征，并建立起统计模型来描述各个特征的关系，组合成标准

人脸模型进行检测，例如，Yow 和Cipollat[10]提出一种基于人脸局部特征的检测

方法，主要是通过对大量人脸局部特征空间几何关系加以组合来形成标准人脸模

型。Yoo[11]等根据肤色像素的连通性来分割肤色区域，并对各个肤色区域进行椭

圆拟合，再以拟合椭圆的长短轴比例来作为人脸形态的约束条件，据此判断是否

为人脸。这种方法的缺点在于，由于局部特征如眉毛，眼睛，嘴巴等多采用边缘

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

摘要人脸检测是计算机视觉、计算机图形学中的一个研究热点和难点，与静态图像相比，视频图像提供了更丰富的信息，比如运动信息，环境信息等，视频中的人脸检测有着更高的要求，既要能对成像条件、光线和人脸姿态变化有良好的适应性，又要兼顾检测正确率和实时性要求。本文针对视频中的人脸检测技术展开研究，提出一种肤色分割、跟踪与AdaBoost人脸检测相结合的人脸检测算法。对图像进行光照补偿，颜色平衡等预处理，采用人脸肤色、几何形状等特征进行肤色检测和人脸轮廓的提取、定位，并以头发灰度特征作为辅助，对复杂背景下的人脸轮廓大小进行估计。结合AdaBoost人脸检测算法，进行局部检测与全图检测。局部检测只对候选轮廓区...

展开>> 收起<<

视频序列的人脸检测算法研究.pdf

共59页,预览6页

还剩页未读，继续阅读

视频序列的人脸检测算法研究

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: