基于多特征的快速行人检测方法及实现

)JournalofGuanxiNormalUniversitNaturalScienceEditiongy(

广西师范大学学报(自然科学版)

Vol.37 No.4Oct.2019

:/DOI10.16088i.ssn.1001-6600.2019.04.007j://httxuebao.xnu.edu.cnpg

基于多特征的快速行人检测方法及实现

()广西师范大学电子工程学院,广西桂林541004

肖逸群,宋树祥*,夏海英

摘 要:针对行人检测速度与实际应用问题,本文提出一种多特征的快速行人检测方法并应用于视频监控系统中。首先通使用支持向量机(训练分类器;最后在H实现实时监控检LBP特征进行融合,SVM)i3516A开发板上实现行人检测算法,测。本文分别在P结果表明本文方法有效地提高了速度,达到了实时行人检测要求,且系统运行C端和开发板上进行实验,稳定,可用于实际监控中。

关键词:行人检测;混合高斯建模;视频监控HOG;LBP;

过混合高斯建模,提取图像有效的运动区域,使得检测面积缩小;接着,将提取出的图像进行边缘处理,对HOG特征与

()中图分类号:TP391.41 文献标志码:A 文章编号:1001-6600201904-0061-07

],引用格式:肖逸群,宋树祥,夏海英.基于多特征的快速行人检测方法及实现[广西师范大学学报(自然科学版)J.2019,37

,,XIAOYiunSONGShuxianXIAHaiin.Fastpedestriandetectionmethodbasedonmulti-featuresandimlementationqgygp[](),():J.JournalofGuanxiNormalUniversitNaturalScienceEdition2019,37461-67.gy

():461-67.

FastPedestrianDetectionMethodBasedonMulti-Features

andImlementationp

*

,XIAOYiunSONGShuxianXIAHaiinqg,yg

:A,Abstractimedatthepedestriandetectionseedandrelatedpracticalalicationproblemsafastppp

multi-featurepedestriandetectionmethodisproosedandaliedtovideomonitorinsteminthispppgsy

,,aer.FirstltheGaussianmodelinisusedtoextracttheeffectivemotionreionoftheimaesothatppyggg

,,thedetectionareaisreduced.Thentheextractedimaeisede-rocessedtheHOGfeatureismeredggpg

,withtheLBPfeatureandtheclassifieristrainedusinhesuortvectormachine(SVM).Finallhegtppyt

edestriandetectionalorithmontheHi3516Adevelomentboardisconductedtomonitoranddetectinpgprealtime.ExerimentsarecarriedoutonthePCsideandthedevelomentboardresectivel.Itisshowpppythatthemethodeffectivelmrovestheseedandachievesthereal-timepedestriandetectionyippreuirements.Thesstemrunsstablndcanbeusedinactualmonitorin.qyyag

:;m;HOG;KewordsedestriandetectionixedGaussianmodelinLBP;videosurveillancepgy

行人检测属于计算机机器视觉领域的研究热点,广泛用于智能监控、安防、辅助驾驶等领域。因为视频获取环境的多变、人体纹理信息的复杂、人类姿态的多样性等诸多干扰因素,图像特征信息不显著,识别率和检测速度都有待提高。行人检测问题也一直是计算机视觉研究中的重要课题。

收稿日期:2018-09-06

(,,)ColleeofElectronicEnineerinGuanxiNormalUniversitGuilinGuanxi541004,Chinaggggyg

)基金项目:国家自然科学基金(61762014

,:通信联系人:宋树祥(男,湖南双峰人,广西师范大学教授,博士。E1970—)-mailsonshuxian@mailbox.xnu.edu.cnggg

62

,()广西师范大学学报(自然科学版)2019,374

]近年来,在机器视觉领域中,大量的行人检测算法被提出。文献[基于HOG1-LBP特征进行行人检

]测,虽然提高了检测的精度,但维度的增加导致检测的效率降低;文献[在基于HOG对其2-LBP检测中,]深度学习算法应用于行人检测。文献[基于深度学习做物体检测,提高了检测的精度,但深度学习对硬7件配置要求高,运行速度慢,不适用于低成本、实时性应用场合。

[]

,以下几种:取相邻的几帧(至少2帧)对图像中相对应位置的像素点作差,提取出图像中的运①帧差法8,

[-6]

进行P但没有减少特征提取时间,反而加重了计算量;一些对HOG和LCA降维,BP算子改进的算法3虽然取得了较好的效果,但仍存在速度不快、对噪声敏感等问题。深度学习概念的提出,使得越来越多的

行人检测基本可分为2类:基于背景建模和基于统计学习的方法。目前提取运动目标的方法主要有

动区域,该方法计算量小,但当运动目标位置变化不明显时,容易出现漏检;通过计算光流场,分②光流法,析运动场的变化对运动目标和场景进行检测与分割,该方法计算量小,快速灵活,但对光源、噪声敏感,实

[]时性比较差;选定一帧作背景帧,用当前帧和背景帧相减得到运动目标,该方法目前运用③背景建模法9,

广泛。基于统计学习方法来识别行人,主要用目标的灰度、边缘、纹理、梯度等特征信息来判别。HOG是使用最为广泛的特征描述子,但其维度较高,计算过程慢。L计BP是利用局部二元模式特征来描述行人,算速度快,但其对低分辨率行人判别能力低。传统的HOG-LBP特征能准确地描述行人的纹理和形状,但检测用时长。

本文将用混合高斯背景建模法提取运动目标区域,其目标检测性能优于传统的模型,能够有效地实现运动目标提取,再通过形态学操作、连通等处理,能够完好地提取运动区域,从而减少行人检测的搜索面积,缩短检测时间。采用S并用线性Sobel边缘处理后的HOG-LBP融合特征来描述人体轮廓信息,VM分类器进行分类。最后在基于嵌入式的视频监控系统中实现本文算法,达到在嵌入式平台上对运动行人实时监控检测的目的。

1 行人检测算法

1.1 混合高斯背景提取

影响行人检测速度的主要有两方面:特征描述子的高维度;待检测图片的大小。本文针对待检测图片大小做调整,利用背景建模法提取出运动目标后再进行检测,这样大幅减小了检测图片面积与检测时的搜索区域,能够缩短耗时,提高检测性能。而混合高斯建模优于其他传统的模型,根据背景判断场景中的背景模型,再用当前帧和背景帧作差得到

]10

(,运动区域。本文中使用自适应混合高斯建模[背景像素分别GMM)

本文算法总体流程框图如图1所示。

由K个高斯分布模型来描述。对于t时刻,视频图像中某个像素点x可以用高斯函数表示:

,P(xt)F(xt,τ=∑ωi,tt,i,t)μi,

i=1

d1e

2(,2π)τ|it|2

kF(Xt,τ=t,i,t)μi,

1

()1

Tx-2(t-i,t)μ1

,()τ(xt-μi,2t)

1-i,tFi.1 Alorithmflowgg

图1 算法流程

2

xt的维数;δI为三阶单位矩阵。i,t为方差;

在背景建模中,随着光线强弱或动态变化需实时更新背景图像,因此背景自动学习更新是至关重要的

2

()τδI。3i,t=i,t其中:xt为t时刻像素点的像素值;K为高斯分布函数的个数;wi,t时刻像素点x第i个高斯函数所t表示占的权重;为高斯密度函数;t时刻第i个高斯分布的均值;τF(xt,τd为t为i,t为协方差矩阵;t,i,t)μi,μi,

一点,模型参数需不断学习并自动更新,然后与合适的高斯函数匹配。t时刻的像素值xt同第i个模型进行匹配,寻找匹配像素的分布模型,该模型的均值偏差在|满足该条件则进行参xt-5σ<2.t1|i,t1内,--μi,

://httxuebao.xnu.edu.cnpg

63

,数更新,并把Mi,否则Mi,然后对各模式的权重重新归一化,其公式如下:0,t记为1t=

wi,1-α)wi,αMi,t=(t1+t,-

),为背景模型,满足公式(其中T为预定的阈值。7

b1-ρ)xt,t=(t1+-μi,μi,ρ22T

。()δ1-ρ)δxt-μi,xt-μi,6i,t=(i,t1+t)(t)-ρ(

参数更新后,对高斯分布模式进行排序,选择前B个高斯分布B是排序后的K个高斯分布像素描述,

(ωi,。B=aringm∑t>T)

i=1b()4

()5

()7

经过混合高斯前景分割后,会引入一些噪声,影响图像检测的质量。中值滤波对噪声有良好的滤除作用,特别是在滤除噪声的同时,能够保护图像的边缘信息,且计算量小,因此可通过中值滤波来消除噪声和保留运动目标。经过滤波后会出现多个单目标区域,实验中运用形态学闭操作填充,对单目标进行融合,形成连通域,并选取出连通域的最小外接矩形,完成对运动目标的提取。1.2 特征提取

1.2.1 HOG特征

[]

1

是D主要是通过计算图像的局部区域梯度直方图来HOG1alal2005年提出的检测行人特征方法,

构成行人特征。HOG先对图像灰度化,再分别计算图像水平方向和垂直方向梯度,最后将投影每个单元

格内的梯度方向进行归一化得到HOG特征值。HOG特征中含有大量的冗余信息,图像背景、服饰纹理

[2]等都会影响HOG对人体轮廓信息的描述,因此在对训练图像计算HOG特征前先进行S边缘检obel1测,如图2所示,结果发现这样可以更好地表达人体轮廓信息,降低其他区域轮廓的干扰。

Fi.2 Sobel-HOGfeatureimaegg

图2 Sobel-HOG特征

1.2.2 LBP特征

[3]

特征对局部纹理特征描绘能力强,计算效率高,判别性能强,受到了广泛使用。传统的检测方LBP1过滤背景服饰等纹理信息,提取人体轮廓,在人体轮廓信息保留的同时也减少了噪声干扰。

法是直接提取L但人体的纹理信息复杂,容易干扰检测。针对此,本文中使用SBP特征,obel边缘检测,在3×3像素的邻域内,设中间像素为阈值,相邻的像素与其对比,比阈值大的像LBP特征提取方式:

素记为1,否则为0,然后按一定顺序排序得到一个8位二进制数,得到的数值就是LBP值。传统的LBP

8值有2种可能,输出256种。如图3所示,LBP二进制编码为11000011。

Fi.3 LBPcodinrincileggpp

图3 LBP编码原理

,()广西师范大学学报(自然科学版)2019,374

LBP计算公式如下:

其中gc为中心像素的灰度值,gp为邻域像素的灰度值。

p,()nLBP=∑S(2Sx=gp-gc)

p=0

P-1

域扩展到任意邻域,用圆形代替了正方形,允许在半径为R的圆形邻域内有任意像素点。

原始L研究者们提出了L为了适应不同尺度的纹理特征,将3×3邻BP提出后,BP特征的改进版本,本实验中为了降低L采用改进的旋转不变LBP的维数,BP特征与等价模式LBP特征结合。旋转不

1, x≥0,

0, x<0。

()8

当一个L36种输出。等价模式也为均匀模式,BP所对应的循环二进制数从0到1或从1到0最多有2次

跳变时,就称为等价模式,能够产生5只有9种输出。旋转不变等价L6种输出。而当两种结合时,BP特征计算公式如下:

,U(s(nLBPP,≤2,R)gp-gc)nu2∑,n0LBPPR=􀮡p=

其他。 P+1, 􀮢

􀪁􀪁􀪁􀪁􀮠

P-1

变L由于编码的起点一定,每一种二值编码模式经旋转(循环位移)后会产生不同的编码结果,产生BP中,

()9

1.2.3 特征融合

经过Sobel算子边缘处理的图像能够在一定程度上减少复杂背景和人体衣服色彩带来的干扰信息,又能保留人体轮廓纹理特征,加强人体轮廓在检测中的作用。HOG特征是描述全部的轮廓特征,LBP反映人体局部的细节纹理特征,将边缘检测后的HOG与L能够实现功能的互补,可以获BP特征进行融合,取轮廓和局部细节纹理两种特征,实现特征信息的有效压缩,加快信息的实时处理,提高人体特征的识别能力。融合流程图如图4所示。

。将融合后的特征与单独2种特征分别在行人数据集上测试,特征矩阵为γ=(对比发现融合后的检α,β)测效果要优于单独检测的效果。

设在样本空间有2个不同的空间A、其对应的2个特征向量分别为α∈A,则串行融合后的B,β∈B,

Fi.4 HOG-LBPfeaturefusiong

图4 HOG-LBP特征融合流程

2 性能分析与嵌入式端实现

2.1 PC端检测性能分析

,本文用I正样本为36负样本为96NRIA数据库与自己拍摄的行人视频作为训练样本(00个,36个)使用线性S首先在计算机上进行实验。实验在运行VM训练分类器。为了验证本方法的检测性能,硬件环境为IWindows7位专业版操作系统的PC机上进行,nteli33.70GHz双核处理器,4GiB运行

内存和英特尔HDG软件环境为Vrahics530显卡;S2012平台和Oencv2.4.9。检测样本为行人检测监pp,;控视频库与自己拍摄视频,行人检测监控视频库的分辨率大小为7时长约为7自己68×576,9s27帧/s。拍摄的检测视频分辨率大小为2时长约为1m72×480,in

://httxuebao.xnu.edu.cnpg

65

2.1.1 检测样本实验结果

))图5为本文算法在各检测样本上的实验结果图,图5(为自己拍摄视频结果图,图5(为在行人检ab测监控视频上的结果图。实验结果表明本方法可以准确地检测行人,速度快,满足实时检测的要求。

Fi.5 Testresultsonthesamlesgp

图5 检测样本上的实验结果

2.1.2 行人检测监控数据集检测性能对比

[4]

为了检验本方法的检测性能,用HOG、与本文方法对比。实验在视LBP、HOG-LBP、CENTRIST1频行人检测公开库里随机选取1每秒2计算待检测人数,实验3次,计算3次实验中的检测0秒视频,5帧,率和错检率平均值作为检测最终结果。错检率是指非行人样本检测为行人的数量与非行人样本总数的比值;漏检率是没有检测出来的行人样本与行人样本总数的比值;检测率为错检率与漏检率之和比上总样本量。结果如表1所示,在检测率与错检率上,本文方法比其他3种方法有明显提高。

表1 行人检测性能对比

Tab.1 Comarisonofpedestriandetectionperformancep行人检测方法

HOGHOG-LBP本文方法LBP

检测率

错检率6.35.74.53.83.1

%

91.392.794.4.2

CENTRIST

,时长约为7实验3次,取平均值作为结果,见表2。从表2可见,在两种分辨率下,×576与0×480,9s

本文提出的方法在耗时上优于其他方法。不提取运动目标使用本文改进的HOG-LBP方法平均每秒只可知其满足实时性要求,可用于实时监控系统中。94%以上的准确率,

能处理8~1在使用混合高斯提取后,平均每秒可达到2检测速度明显提高。结合本文算法具有0帧,0帧,

为了检验本文算法的效率,本文进行了算法耗时实验。实验选取监控视频数据的分辨率大小为768

66

,()广西师范大学学报(自然科学版)2019,374

表2 行人检测速度对比

Tab.2 Comarisonofpedestriandetectiontimep

视频分辨率768×5760×480

检测速度

HOG3.53

LBP5.34

HOG-LBP

108

CENTRIST

1215

本文方法1920

-1

帧·s

2.2 在嵌入式端实现

下面将本文方法应用于嵌入式视频监控系统中,并测试

15-17]

效果。实验构建的嵌入式监控行人检测系统[主要由服务

片Hi3516A,其基于Cortex-A7内核,主频率最高到达

,具有很快的运行速度;摄像头采用C600MHzV30。PC机数据传输模块。视频采集模块中的摄像头采集视频数据,传送到处理器中进行运动行人检测分析和视频编码,然后将编码后的视频数据传送到监控客户端显示。目标检测功能添加

器和客户端构成。服务器采用海思半导体推出的一款专业芯

为客户端的宿主机。监控服务端有视频采集模块、编码模块、

18]

,到视频监控系统中[步骤如下:移植本文算法到Hi3516A

板上,创建行人检测通道,然后将视频采集通道与检测通道绑

定,对接收到的视频数据进行处理和分析,确定运动行人位置和大小。H可根据反馈i3516A芯片有很好的图像叠加功能,的运动信息画出矩形框图,并添加到视频上显示。算法在嵌入式开发板上实现的流程如图6所示。

本文在嵌入式端进行了算法性能测试,视频分辨率为720

监控画面播放正常,能准确检测出运动行人,见图7。×576,

测试中随机抽取了2获取其处理每一帧所用的时间,计0帧,算出本文算法在嵌入式端能达到每秒处理15帧左右的监控画面,满足实时性要求,可用于行人的实时检测。

Fi.6 Imlementedontheembeddedgp

sideofthealorithmg

图6 算法在嵌入式端实现

Fi.7 Resultonembeddedimaegg

图7 嵌入式端行人检测效果

3 结语

针对智能监控中行人检测实时性问题,本文提出了一种基于混合高斯和HOG-LBP的行人检测方法。该方法先对检测视频进行混合高斯背景建模,提取运动区域,以减少检测图像大小,随后用经过边缘

://httxuebao.xnu.edu.cnpg

67

处理后的HOG获得了较高的检测速度和检测率。本文同时在嵌入式视-LBP融合特征在提取区域检测,频监控系统中实现了实时行人检测。实验结果显示,本文方法有较好的行人检测识别效果,在嵌入式板上能够稳定运行,成本低,实时性好,可用于实时监控。

参 考 文 献:

[,,1] HONGXiaoenZHAOGuoinPIETIKÄINENM,etal.CombininBPdifferenceandfeaturecorrelationforpgyggL[],2 ZENGChenbinMAHuadon.Robusthead-shoulderdetectionbCA-basedmultilevelHOG-LBPdetectorforggyP

,:/CA:IEEEComuterSociet2010:2069-2072.DOI10.1109ICPR.2010.509.py

[],,()::/texturedescritionJ.IEEETransactionsonImaeProcessin20142362557-2568.DOI10.1109TIP.2014.23160.pgg[//,eolecountinC]Proceedinsofthe201020thInternationalConferenceonPatternReconition.LosAlamitosppggg

[],,,[//3 FANGuouanLIBoMUWanuanetal.HOGG:GaborandHOG-basedhumandetectionC]Proceedinsof2016jqg

,8thInternationalConferenceonInformationTechnolonMedicineandEducation.LosAlamitosCA:IEEEgyi,:/ComuterSociet2016:562-566.DOI10.1109ITME.2016.0133.py

[],,,4 JILuinRENYanLIUGuisonetal.Trainin-basedgradientLBPfeaturemodelsformultiresolutiontexturepggg[],,//5 ZHAOLihonLIUFeiWANGYonun.FacereconitionbasedonLBPandgeneticalorithm[C]Proceedinsofggjggg

:/DOI10.1109CCDC.2016.7531236.

[],()::/classificationJ.IEEETransactionsonCbernetics2018,42683-2696.DOI10.1109TCYB.2017.2748500.y

:,the28thChineseControlandDecisionConference.SinaoreIEEEIndustrialElectronicsChater2016:1582-1587.gpp

[]]::/唐世轩,冯晨晨,等.改进的HOG光电工程,6 程德强,-CLBC的行人检测方法[J.2018,45(8)180111.DOI10.12086[]//7 GIRSHICKR.FastR-CNN[C]Proceedinsof2015IEEEInternationalConferenceonComuterVision.Losgp[],[//8 SUNDeinROTHS,BLACKMJ.SecretsofoticalflowestimationandtheirprincilesC]Proceedinsof2010qgppg

,:/Societ2010:2432-2439.DOI10.1109CVPR.2010.5539939.y

,,:/AlamitosCA:IEEEComuterSociet2015:1440-1448.DOI10.1109ICCV.2015.169.pyoee.2018.180111

,IEEEComuterSocietonferenceonComuterVisionandPatternReconition.LosAlamitosCA:IEEEComuterpyCpgp

[]]::/王超,姜文涛,等.基于随机背景建模的目标检测算法[应用光学,9 杨恒,J.2015,36(6)880-887.DOI10.5768[]黄大卫,]:胡文翔,吴小培,等.改进单高斯模型的视频前景提取与破碎目标合并算法[信号处理,10J.2015,31(3)299-[]D//11ALALN,TRIGGSB.Historamsoforientedgradientsforhumandetection[C]ProceedinsofIEEEComuterggp

:/886-3.DOI10.1109CVPR.2005.177.:/307.DOI10.3969i.ssn.1003-0530.2015.03.007.jJAO201536.0602001.

,,SocietonferenceonComuterVisionandPatternReconition.LosAlamitosCA:IEEEComuterSociet2005:yCpgpy

[]GAOW,,,[//12enshuoZHANGXiaouanYANGLeietal.AnimrovedsobelededetectionoeratorC]Proceedinsofggpgpg

:/2010:67-71.DOI10.1109ICCSIT.2010.5563693.

,N:,20103rdInternationalConferenceonComuterScienceandInformationTechnolo.PiscatewaJIEEEPresspgyy

[]袁宝华,]::/王欢,任明武.基于完整L计算机应用研究,13BP特征的人脸识别[J.2012,29(4)1557-1559.DOI10.3969.j[]WUJ,]14ianxinREHGJM.CENTRIST:avisualdescritorforscenecateorization[J.IEEETransactionsonPatternpg[]陈义,]::马云林.基于视觉的手势识别技术在车载主机上的应用[电子设计工程,15J.2016,24(8)141-144.DOI10.[]何群山.基于A淮南:安徽理工大学,16RM的嵌入式视频监控系统设计[D].2016.

/14022.cnki.dzsc.2016.08.040.jjg

,()::/AnalsisandMachineIntellience2011,33814-1501.DOI10.1109TPAMI.2010.224.ygissn.1001-3695.2012.04.099.

[]郑阳.基于H杭州:浙江工业大学,17i3516A处理器的KVM终端软件设计[D].2016.

[]深圳市海思半导体有限公司.深圳:深圳市海思半导体有限公司,18HiMPPV3.0媒体处理软件开发参考[M].2013.

(责任编辑 黄 勇)