（信号与信息处理专业论文）人体跟踪理论及算法研究.pdf

山东大学博士学位论文 中文摘要 对运动的人体进行实时跟踪就是通过对采集到的图像序列进行处理和分析， 获得关于人体的相关信息它在智能监控、高级人机界面以及基于运动的诊断与 辨别等方面都有广泛应用和潜在的经济价值。因此该方向是近年来计算机视觉领 域研究的热点问题之一，特别是在复杂的动态背景下如何完成准确地跟踪更是人 们讨论的重点，并受到日益广泛的重视，而图像去噪是人体跟踪的重要组成部分 之一。基于此，本文对在不同的背景环境下运动目标的跟踪问题进行了讨论和研 究，主要包括图像小波域去噪、图像边缘增强、在小波域进行目标检测、复杂背 景下基于贝叶斯模型的运动目标检测、目标分析、利用卡尔曼滤波理论进行目标 跟踪等。 人体的实时跟踪系统是对人体进行实时监控的智能系统，在本论文，对其中 的具体问题进行了细致的分析和讨论，提出了一些新的算法。本文的主要贡献如 下： 1 在对包含有目标的图像进行分析前必须要进行图像的预处理，以尽量减少 噪声对目标的干扰。因此，文中提出了不同的算法来完成该任务： ( 1 ) 最佳软门限去噪：在d o n o h o 软门限的理论基础上，对小波系数的收缩 量进行进一步的讨论，得到一个最佳的软门限值完成图像的去噪。该方法利用最 小均方误差准则，对原有的软门限值进行了优化，推导出在最小均方误差的条件 下对于不同噪声分布的最佳去噪算法。理论和实例证明，该算法可以得到一个比 原有软门限方法更好的滤波结果。 ( 2 ) 双h a a r 小波变换系数的m a p 估计完成图像去噪：首先对小波基的选取进 行了讨论，由于双h a a r 小波不仅具有良好的边缘检测性能而且有更好的平滑噪声 的能力，因此适用于信号去噪。该方法给出了基于m a p 的双h a a r 小波收缩算法， 并对其在图像去噪中的应用进行了讨论。该算法充分利用了信号的双h a a r 小波两 个变换系数问的相关特性，得到小波系数的最佳估计。这种小波收缩算法与现有 的软门限方法相比较，可以给出更好的去噪结果。 ( 3 ) 自适应边缘增强算法：边缘增强是图像处理的一个重要研究领域，它主 要用于对模糊图像的锐化。但是，现有的图像边缘增强方法对噪声敏感。由于中 值滤波是一种用于图像去噪的非线性滤波器，为了提高中值滤波的细节保持能力， 山东大学博士学位论文 可采用多级中值滤波器。由于在图像的边缘部分，多级中值滤波和均值滤波的输 出差较大，而在图像的平坦部分输出较小，因此该算法在传统的高通滤波器的基 础上，利用多级中值滤波和均值滤波的差作为参数，提出了一种自适应图像边缘 增强算法。它在增强图像边缘的同时，还具有抑制噪声的能力，因此具有良好的 应用前景。 2 在对运动人体进行跟踪时，准确地检测出目标是非常关键的一步，因此本 文对不同的背景情况下的目标检测算法进行了详细的讨论，提出了以下几种改进 算法： ( 1 ) 基于贝叶斯准则水平投影优化的运动目标检测算法：在目标检测系统中， 阈值的选取是一个非常关键的问题，它直接决定了检测结果的准确性。如果选取 经验值作为门限将目标从背景中分离出来，有时并不能得到理想的检测结果。新 算法充分考虑了仅仅依靠阈值来确定目标区域大小的局限性，结合贝叶斯判决准 则，给出了一个动态阈值，利用该阈值对二值化图像的水平投影做进一步分析， 在去噪声的同时保证目标的完整性。该方法当外界环境光线变化较大时，可以有 效地改善光线变化带来的影响，从而使人体目标的检测更为准确。 ( 2 ) 基于滑动窗口的双h a a r 小波运动目标检测算法：该算法不再直接在时 域对目标分析，而是从频域的角度出发，提出一种新的运动目标检测方法。在对 运动目标检测之前，首先对差分图像去噪，然后对去噪后的图像进行边缘增强， 使目标区域更为明显。最后，利用图像的能量特性得到差分图像的特征图像，区 分背景和目标，并在特征图像直方图的基础上得到判断阈值，完成图像的二值化。 实验证明，利用该方法可以得到更好的检测结果。 ( 3 ) 基于贝叶斯模型的动态背景检测：在跟踪目标时，有时会遇到复杂的动 态背景，原有的检测方法有时不能得到满意的结果，因此提出一种新算法。该算 法利用贝叶斯模型结合核密度函数理论，把阈值的选取放到概率空间上考虑，给 出了在复杂的动态背景下检测出运动目标的方法。首先，在图像相关性的基础上， 利用非参数核密度估计的方法，建立前景和背景的核密度函数，再利用贝叶斯理 论，估计出背景和前景的先验概率，两者相结合得到一个估计的阈值，从而实现 目标和背景的分类。 3 在准确检测出目标后，就要对运动目标进行跟踪了。关于运动人体的跟踪 本文提出了下面的改进算法： 快速卡尔曼滤波算法在人体跟踪中的应用：在对运动目标进行跟踪时，为使 2 山东大学博士学位论文 跟踪准确无误地完成，需要根据目标当前的运动轨迹来预测下一时刻的位置并对 该时刻的位置进行修正。卡尔曼滤波预测理论可以解决这类问题，将该理论应用 到人体跟踪中，可以达到理想的跟踪效果。该算法在原有方法的基础上，首先根 据运动目标的对称性，确定卡尔曼滤波的状态方程，然后对系统的增益方程和常 数矩阵做了合理的假设，通过理论推导得到其常数值。实验表明，该算法不仅可 以使目标的跟踪更为准确而且大大提高了计算的速度。 通过对室内和室外采集的图像序列进行实验，表明综合利用上述方法能够准 确检测出运动者的位置，完成运动目标的跟踪。 关键诃：实时跟踪，图像预处理，最佳软门限去噪，双h a a r 小波变换去噪， 图像边缘增强，运动目标检测，贝叶斯准则，水平投影优化，图像能量，动态背 景，核密度函数，卡尔曼滤波器，运动目标跟踪 山东大学博士学位论文 a b s t r a c t t h er e a l t i m et r a c k i n gf o rm o v i n gp e o p l ei st op r o c e s sa n da n a l y z et h es a m p l e d i m a g ea n dt oo b t a i nt h ei n f o r m a t i o na b o u tt h eb o d yt h es y s t e mh a st h ew i d e 眦a n d e c o n o m i c a lw o r t hi nt h es m a r ts u r v e i l l a n c ea n dm o n i t o r , h i g h g r a d eh u m a n - c o m p u t e r i n t e r f a c e , m o t i o n - b a s e dd i a g n o s i n g , e t c s o ，t h i sf i e l dh a sb e e nb e c o m eo n eo f t h em o s t a c t i v er e s e a r c ha r e ai nc o m p u t e rv i s i o nr e c e n t l y h o wt od e t e o tt h em o v i n go b j e c tf r o m t h ec o m p l e xb a c k g r o u n db e c o m e st h es i g n i f i c a n td i s c u s s i n gt o p i ce s p e c i a l l ya n d e x t e n s i v ea t t e n t i o nh a sp a i dt oi t a sw ek n o w , i m a g ed e - n o i s i n gi st h ei m p o r t a n tp a r t o ft h ei m a g ep r o c e s s i n g , s o ，t h et r a c k i n gp r o b l e mi sd i s c u s s e du n d e rd i f f e r e n t b a c k g r o u n de n v i r o n m e n ti n t h i sp a p e r , i tm a i n l yc o n t a i n si m a g ed e - n o i s i n gi nw a v e l e t d o m a i n , i m a g ee d g ee n h a n c i n g , t a r g e td e t e c t i n gi nw a v e l e td o m a i n , m o v i n go b j e c t d e t e c t i n go nc o m p l e xb a c k g r o u n dw i t hb a y s i a nm l e s ，m o v i n go b j e c ta n a l y z i n ga n d o b j e c tt r a c k i n gw i t l lk a l m a nf i l e r , e t c t h er e a l - t i m et r a c k i n gs y s t e mf o rp e o p l ei sag e n e r a lf r a m eo fr e a l t i m em o n i t o r , t h ec o n c r e t ep r o b l e m sa r ea n a l y z e da n ds e v e r a ln e wa l g o r i t h m sa r ep r o p o s e dh e r e t h e m a i ni d e a sa r ea sf o l l o w s ： 1 t h ei m a g ew h i c hc o n t a i n st a r g e tm u s tb ep r e - p r o c e s s e di no r d e rt od e c r e a s et h e i n t e r f e r e n c eo f t h en o i s e s s o ，t h ed i f f e r e n ta l g o r i t h m sa r ep r o p o s e di nt h ep a p e r ： ( 1 ) i m a g ed e n o i s i n gb yt h eo p t i m a ls o f tt h r e s h o l d ：t h es h r i n k a g eo ft h ew a v e l e t c o e f f i c i e n t sa r ed i s c u s s e df n 1 1 1 e ro nt h eb a s i so fd o n o h ot h e o r ya n da no p t i m a ls o f t t h r e s h o l di so b t a i n e dt of i n i s ht h ei m a g ed e n o i s i n g , t h em e sr u l ei su s e dt oo p t i m i z e t h eo r i g i n a ls o f tt h r e s h o l da n dt h eo p t i m a ld e n o i s i n ga l g o r i t h mi sd e d u c e df o rd i f f e r e n t n o i s e s t h et h e o r ya n de x p e r i m e n th a sp r o v e dt h a tab e t t e rd e n o i s i n gr e s u l tc a nb e o b t a i n e dt h a no r i g i n a lm e t h o d ( 2 ) i m a g ed e - n o i s i n gb a s e do nd o u b l eh a a rt r a n s f o r mm a p e s t i m a t e ：a tf i r s t , t h e w a v e l e tb a s i ss e l e c t i o ni 3d i s c u s s e d d o u b l eh a a rt r a n s f o r mn o to n l yh a st h eb e t t e r e d g ed e t e c t i n gp r o p e r t yb u ta l s o0 8 1 1 s m o o t h e nt h en o i s e sm o r ee f f e c t i v e t h en e w m e t h o dg i v e saw a v e l e ts h r i n k a g ea l g o r i t h mb a s e do nm a pe s t i m a t ea n dd i s c u s s e si t s a p p l i c a t i o ni ni m a g ed e - n o i s i n g t h ec o r r e l a t i o nb e t w e e nt h ed o u b l eh a a rt r a n s f o r m 4 山东大学博士学位论文 c o c 佑c i 即临a r cu s e dt oo b t a i nt h eo p t i m a le s t i m a t e t h i ss h r i n k a g ea l g o f i t h mc a ng e t b e t t e rd e - n o i s i n gr e s u l tt h a nt h eo d g h l a ls o rt h r e s h o l d ( 3 ) s e l f - a d a p t i v ee d g ee n h a n c i n ga l g o r i t h m ：e d g ee n h a n c i n gi s a ni m p o r t a n t d o m a i ni ni m a g ep r o c e s s i n g , a n di ti su s e dt os h a r p e nt h eb l u r r e di m a g e b u t , t h e p r e s e n tm e t h o di ss e n s i t i v et on o i s e i no r d e rt or a i s et h ed e t a i l sp r o t e c t i o na b i l i t i e so f t h em e d i a nf i l t e rw ec a l lu s et h em u l t i - m e d i a nf i l t e r b e c a u s et h eo u t p u tb e t 、v 嘲t h e m u l t i - m e d i a nf i l t e ra n dm e a nf i l t e ra tt h ei m a g ee d g ep a r ti sl a r g e rt h a nt h ei m a g ef l a t p a r t , t h ed i f f e r e n c ei su s e da st h et h r e s h o l dt op r o p o s eas e l f - a d a p t i v ee d g ee n h a n c i n g a l g o r i t h m t h i sm e t h o dh a st h ea b i l i t yt oc o n s t r a i nn o i s e sw h e nt h ei m a g ee d g ei s e n h a n c e da n di th a st h eb e t t e ra p p l i c a t i o np r o s p e c t s 2 d e t e c t i n go b j e c tc o r r e c t l yi sak e ys t e pw h e nt h em o v i n gp e o p l ei st r a c k e d ，s o ， t h en e wd e t e c t i n ga l g o r i t h m sa r ed i s c u s s e du n d e rd i f f e r e n tc i r c u m s t a n c e si nt h i sp a p e r a n ds e v e r a li m p r o v e da l g o r i t h m sa r ep r o p o s e d ： ( 1 ) m o v i n go b j e c td e t e c t i n ga l g o r i t h mb a s e do nb a y s i a nr u l e s ：i nt h eo b j e c t d e t e c t i n gs y s t e m ，t h et h r e s h o l ds e l e c t i o ni sak e yp r o b l e ma n di t d e t e r m i n e st h e a c c u r a c yo ft h ed e t e c t i n gr e s u l t f ft h ee x p e i l i o r c ev a l u ei ss e l e c t e da st h et h r e s h o l dt o s e p a r a t et h eo b j e c tf r o mt h eb a c k g r o u n d , w ec a nn o to b t a i nt h ei d e a lr e s u l ts o m e i i m e s t h en e wa l g o r i t h mc o n s i d e r st h el i m i t a t i o nt od e f i n et h eo b j 鳅r e g i o nb yt h e e x p e r i e n c ev a l u e ，a n dc o m b i n e s 诵t l lt h eb a y s i a nr u l e r s ，a n a l y z e st h eh o r i z o n t a lo f t h e b i n a r yi m a g ew i t han e wd y n a m i ct h r e s h o l d ，e n s u r e st h eo b j e c tr e g i o nc o m p l e t ea n d w i t h o u tn o i s e s t h em e t h o dc a l li m p r o v et h ei n f l u e n c eo fc h a n g i n gl i g h ta n dm a k et h e d e t e c t i n gr e s u l tm o r ea c c u r a t e ( 2 ) m o v i n go b j e c td e t e c t i n ga l g o r i t h mb a s e do nm o v i n gw i n d o wd o u b l eh a a r t r a n s f o r m ：t h i sm e f t nd o e sn o ta n a l y z eo b j e c ti nt e m p o r a ld o m a i na n ym o r e , i ts t a r t s f r o mw a v e l e td o m a i n , a n dp r o p o s e san e w a l g o r i t h m b e f o r ed e t e c t i n go b j e c t , t h ee d g e o fd e - n o i s i n gd i f f e r e n c ei m a g ei se n h a n c e da n dm a k et h eo b j e c tr e g i o nm o r eo b v i o u s ， t h e n t h cf e a t u r ei m a g ei so b t a i n e dw i t l lt h ee n e r g yc h a r a c t e rt od i f f e r e n t i a t e b a c k g r o u n da n do b j e c t ，a n dt h ej u d 百n gt h r e s h o l di so b t a i nb a s e do nt h eh i s t o g r a mo f t h ef e a t u r ei m a g et of i n i s ht h ei m a g eb i n a r i z a t i o n t h ee x p e r i m e n t a lr e s u l ts h o w st l l a t t h en e wa l g o r i t h mc a ng e tb e t t e rd e t e c t i n gr e s u l t ( 3 ) t h ed y n a m i cb a c k g r o u n dd e t e c t i n ga l g o r i t h mb a s e do nb a y s i a nm o d e l ：w e 5 山东大学博士学位论文 u s u a l l ym e e tc o m p l e xb a c k g r o u n dw h e nw et r a c kt h eo b j e c t b a y s i a nm o d e l i s c o m b i n e dw i t l lk e r n e ld e n s i t yf u n c t i o nt o g i v ean 鲫d e t e c t i n go b j e c tm e t h o di n p r o b a b i l i t ys p a c e a tf i r s t , t h ek e r n e ld e n s i t yf u n c t i o no f b a c k g r o u n da n df o r e g r o u n di s b u i l tb a s e do nt h ei m a g ec o r r e l a t i o n t h e n , t h ep r i o rp r o b a b i l i t yo ft h eb a c k g r o u n da n d f o r e g r o u n di se s t i m a t e dw i t hb a y s i a nt h e o r y a tl a s t ，ad y n a m i ct h r e s h o l di so b t a i n e d t oc l a s s i f yt h et a r g e ta n db a c k g r o u n d 3 w es h o u l dt r a c kt h em o v i n go b j e c ta f t e rw ed e t e c th e ( o rs h eo rt h a m ) t h e f o l l o w i n ga l g o r i t h mi sp r o p o s e di nt h i sp a p e rf o rp e o p l et r a c k i n g ： f a s tk a l m a nf i l t e ra l g o r i t h mf o rm o v i n go b j e c tt r a o k i n g ：i no r d e rt ot r a c kt h e m o v i n go b j e c tc o r r e c t l y , w es h o u l dp r e d i c tt h ep o s i t i o no ft h eb o d yi nt h en e x tt i m e a c c o r d i n gt ot h ep r e s e n tf r a m ea n dr e v i s e dt h ep o s i t i o n k a l m a nf i l t e rc a l ls o l v et h e p r o b l e ma n di tc a ng e tt h ei d e a lt r a c k i n gr e s u l t 1 1 1 en e wa l g o r i t h md e f i n e st h es t a t e f u n c t i o na tf i r s tb a s e do nt h ek a l m a nt h e o r y , t h e n , d e d u c o st h ev a l u eo ft h ea u g m e n t m a t r i xa n dc o n s t a n tm a t r i x e x p e r i m e n t a lr e s u l ts h o w st h a tt h em e t h o dc r nn o to n l y t r a c kt h eo b j e c tc o r r e c t l yb u ta l s oi m p r o v ec o m p u t i n gs p e e d ，1 1 l ee x p e r i m e n t a lr e s u l t so ft h ei n d o o ra n do u t d o o rc i r c u m s t a n c e ss h o wt h a tt h e a b o v e - m e n t i o n e dm e a l 娼啪b eu s e dt od e t e c ta n dt r a c km o v i n gp e o p l ec o r r e c t l y k e yw o r d s ：r e a l - t i m et r a c k i n g , i m a g ep r e - p r o c e s s i n g , o p t i m a ls o f tt h r e s h o l d i n g d e n o i s i n g , d o u b l eh a a rw a v e l e tt r a n s f o r md c n o i s i n g , i m a g ee d g ee n h a n c i n g , m o v i n g o b j e c td e t e c t i n g ，b a y s i a nr u l e ，h o r i z o n t a lp r o j e c to p t i m i z i n g , i m a g ee n e r g y , d y n a m i c b a c k g r o u n d , k e r n e ld e n s i t yf u n c t i o n ，k a l m a nf i l t e r , m o v i n go b j e c tt r a c k i n g 6 山东大学博士学位论文 r - 1 t d b n l p f h p f s t o s t s n r d h 、 丌 一 啪 m m f a e e a m f e e m i s e n k d e p d f e k f s m c m 缩略语说明 r e a l t i m et r a c k i n g d y n a m i cb a y e s i a nn e l w o r k l o w p a s sf i l t e r h i g hp a s sf i l t e r s o f tt h r e s h o l d i n g o p t i m a ls o f tt h r e s h o l d i n g s i g n a l t o - n o i s er a t i o d o u b l eh a a rw a v e l e tt r a n s f o r i l l m a x i m u map o s t e r i o r i m o v i n gw i n g d o w - b a s e dd e n o i s i n g m u l t i - m e d i a nf i l t e r a d a p t i v ee d g ee n h a n c i n ga l g o r i t h m m e d i a nf i l t e r - b a s e de d g ce n h a n c e r m e a ni n t e g r a t e ds q u a r ee r r o r n o n p a r a m e t e r i ck e r n e ld e n s i t ye s t i m a t i o n p r o b a b i l i t yd e n s i t yf u n c t i o n e x t e n d e dk a l m a nf i l t e r s o q u e n c em o n t ec a r l om e t h o d s 实时跟踪 动态贝叶斯网络 低通滤波器 高通滤波器 软门限 最佳软门限 信噪比 双h a m 小波变换 最大后验概率 滑动窗口滤波 多级中值滤波器 自适应边缘增强算法 中值滤波边缘增强器 积分均方误差 非参数核密度估计 概率密度函数 扩展的卡尔曼滤波器 顺序的蒙特卡洛方法 7 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均己在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：壶j 蓑露 日期：查2 ：! ：兰 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：壶l 萎邀导师签名： ! 玉k 日期： 佣q 谚 山东大学博士学位论文 第一章绪论 i 1 运动人体目标检测与跟踪理论综述 1 1 1 概述 人体的运动与跟踪是近年来计算机视觉领域的重要研究课题，它包括从图像 序列中检测、识别、跟踪人体并对其行为进行理解和描述。由于该项技术在很多 领域有着很广泛的应用，因此越来越受到国内外科研人员的重视。对运动人体进 行实时跟踪( r t t ) 首先需要进行目标检测，即将运动目标从背景图像中分离出 来，然后再对分割出的目标进行实时跟踪，并获得更多关于目标的相关信息，达 到跟踪的目的。人的运动目标检测和跟踪主要针对包含人的运动图像序列进行分 析处理，它通常涉及到运动检测、目标分类、人的跟踪及行为理解与描述几个过 程。主要过程可以用图1 1 的方框图来描述。 图1 1 人体跟踪处理过程图 噪声 视觉跟踪问题按照不同的分类标准主要有以下几种分类1 】： 一、按照摄像机的数目： 按照所使用摄像机的数目来分跟踪问题主要有单摄像机视觉跟踪和多摄像机 山东大学博士学位论文 视觉跟踪。目前主要研究的是单摄像机跟踪问题f 4 】调，本论文也只讨论单摄像机 的跟踪。但是在实际的视频监视系统中，单摄像机所监视的区域还是有限的，因 此，在一些比较大的公共场合，更多的系统开始采用多摄像机用来扩大监视的范 围f 7 卜 9 1 。另外，双目或多目视觉系统还可以获得运动目标的距离信息。在对运动 目标跟踪过程中，往往会发生目标被遮挡或者暂时消失等问题，这也是视觉研究 中的难点，此时用单摄像机也很难解决这类问题，而使用多摄像机在一定程度上 是能够解决的【l o 】。但是使用多摄像机会带来更大的问题，即如何将多摄像机获得 的不同视角的运动信息正确对应起来。解决这个问题的难度非常大，因此，在不 同的场合可以考虑实际情况选择摄像机的数目。 二、按照摄像机是否运动： 根据摄像机是否运动可以将人体跟踪问题分为摄像机静止时的目标跟踪和摄 像机运动时的目标跟踪。对于大多数的视频监视系统都是采用摄像机静止的方法 【4 】删】 1 2 h 1 4 1 。在这种情况下，背景是静止的，而作为前景的运动目标是移动的， 很多实验表明【7 l 【1 1 】【1 3 】，这时采用背景差分法进行目标检测，基本上可以得到检测 目标。但是在很多情况下摄像机是运动的，运动的形式分为两种，一种是摄像机 支架固定，但是摄像机角度可以偏转，焦距可以调整1 1 4 1 。另一种是摄像机装在某 个可以移动的载体上【1 5 h 1 6 1 。在这种情况下，由于摄像机和目标都是运动的，因此 给目标的检测带来更多困难。本文只讨论当摄像机为静止时的运动目标跟踪。 三、按照场景中运动目标的数目： 按照场景中运动目标的数目可以把跟踪问题分为单个目标跟踪和多个目标跟 踪。由于噪声及光线变化等外界因素的影响，单个目标的检测也有一定的困难， 如果不能准确检测出目标，会使跟踪失败1 1 7 】。如果场景中有多个目标时，由于目 标间还会发生遮挡，合并，分离等问题，使检测更为困剌1 8 h 1 9 1 。本论文主要讨论 以单个目标为主的跟踪。 1 1 2 国内外研究现状 运动目标的检测和跟踪在高级人机交互、安全监控、视频会议、医疗诊断等 方面具有广泛的应用前景和经济价值，因此激发了各国的研究人员的广泛研究兴 趣，目前世界上有许多大型科研机构都在对这一领域进行研究，如在美国，英 国等国家已经开展了大量的研究工作，在我国，该项工作最近得到重视。主要 包括【2 0 j ： 2 山东大学博士学位论文 1 9 9 7 年美国国防高级研究项目署( d e f e n s e a d v a n c e d r e s e a r c h p r o j e c t s a g e n c y l 设立了以卡内基梅隆大学( c a r n e g i em e l l o nu n i v e r s i t y ) 为首、麻省理工学院 ( m a s s a c h u s e t t s i n s t i t u t eo ft e c h n o l o g y ) 等高校参与的视觉监控重大项目 v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) t 2 ，主要研究用于战场及普通民用场景 进行监控的自动视频理解技术； 美国国际商用机器公司( i b m ) 与美国马里兰大学( u n i v e r s i t yo fm a r y l a n d ) 联合 开发的w 4 ( w h a t , w h e r c , w h e n , w h o ) 系统t 】，该系统不仅能定位人和分割出人的 身体部分，而且通过建立外观模型来实现多人的跟踪，并可以检测并分割出人携 带的物品，该系统主要可应用于室内或光线较暗的场景； 英国的雷丁大学( u n i v e r s i t yo f d i n g ) 瞄1 已开展了对车辆和行人的跟踪及其 交互作用识别的相关研究； ； 美国麻省理工学l 哓( m a s s a c h u s e t t si n s t i t u t eo ft c c i l l o g y ) 开发的p f i n d 一1 0 1 系 统和k i d s r o o m 系统【捌； 美国微软公司( m i c r o s o r ) j t 发的t e l c v i s i o nc o n t r o lb yh a n dg e s u t r e s 系统 2 4 1 和 e a s y l i v i n g 系统： 国内进行人体检测与跟踪研究的主要科研机构有中科院自动化所模式识别国 家重点实验室f 2 日等。 国际上一些权威期刊p a m i ( i e e et r a mo np a t t e r na n a l y s i sa n dm a c h i n e i n t e l l i g e n c e ) 、f f c v ( i n t c m a f i o n a lj o u r n a lo f c o m p u t e r v i s i o n ) 、c v l u ( c o m p u t e r v i s i o n a n di m a g eu n d e r s t a n d i n g ) 、i v c ( i m a g ea n dv i s i o nc o m p u t e r ) 和重要的学术会议如 i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o n ) 、c v p r f i e e ec o m p u t e rs o c i e t y c o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n ) 、e c c v ( e u r o p c a n c o n f e r e n c e0 1 1c o m p u t e rv i s i o n ) 、1 w v s ( i e e ei n t e r n a t i o n a lw o r k s h o po nv i s u a l s u r v e i l l a n c e ) 等将计算机视觉和人的运动分析研究作为主题内容之一。从而大大加 快该领域的研究步伐。另外，我们也可以发现，该领域的研究具有重要的意义和 一定的经济价值。 1 1 3 目标检测 运动目标检测是整个跟踪过程的第一部分，检测的目的是将运动的人体从背 景图像中提取出来。能否准确快速地从背景中把运动目标提取出来是整个系统是 否能成功完成任务的关键。运动目标检测主要可以分为运动目标分割和运动目标 山东大学博士学位论文 分类两部分 1 运动目标分割 运动物体分割就是把图像中的运动部分从画面中分离出来，只有运动的部分 才是我们感兴趣的并要进行跟踪的运动目标的分割会受到外界光线，遮挡，影 子等因素的影响，因此需要一种稳定可靠的分割算法来实现。长用的分割算法有 以下几种： 1 ) 背景减法 将含有运动目标的前景图像和事先通过背景模型得到的背景图像相减得到运 动目标【”1 - 3 1 。这种方法虽然简单易行，但是受外界因素影响太大，另外阈值的选 择也很关键，因此需要和其他方法配合使用才能得到较满意结果。 2 ) 统计方法 在背景减法的基础上出现了基于统计方法的分割算法。该算法首先建立背景 的统计模型【：，h 捌，通过将某一像素点与统计模型对比判断该点是前景点还是背景 点，该方法可以有效克服噪声，光线及动态背景带来的不利影响。 3 ) 帧差方法 帧差方法通过连续两帧或者三帧图像的像素差确定运动区域f 删 3 l 】。该方法能 够快速有效的从背景中检测出目标，对动态环境具有较强的适应性，但一般不能 完全提取出所有相关的特征点像素点，在运动实体内容易产生空洞现象。 4 ) 光流方法 基于光流方法的运动检测采用运动目标随时间变化的光流特性，用来描述相 邻帧之间某像素点的运动，通过计算运动物体在帧间的运动向量来得到运动区域 的大小b 2 1 4 “i 。该方案能在背景剧烈变化，甚至摄像机移动的情况下分离出运动物 体。但是，大多数的光流方法计算复杂，且抗噪性能差，如果没有特别的硬件装 置则不宜用于视频流的实时处理。 2 运动目标分类 由运动目标分割检测到的运动部分可能包含不同的物体，监控系统捕捉到的 运动目标可能不仅仅包括行人或汽车等，甚至还包含飞行的鸟，流云以及晃动的 树枝等，因此要从运动部分中分离出人体就要进行运动物体的分类。目前常用的 分类方法可以分为两种。 1 ) 基于形状信息的分类 基于形状信息的分类是利用检测出来的运动区域的形状特征进行目标分类的 4 山东大学博士学位论文 方法。可以采用区域的轮廓变化、宽高比、投影特性和直方图等特征作为物体分 类的依据乜1 1 1 3 1 h 3 2 。该方法通常能够将运动部分分为人体、车辆或者不明物体等， 供跟踪算法使用。 2 ) 基于运动的分类 由于人体的运动是非刚体运动，并呈现一定的周期性，基于运动特性的分类 是利用人体运动的周期性进行目标分类的方法。这类方法可以进行时频分析，利 用周期性出现的自相似性来实现分类【3 5 1 ，还可以与光流法相结合，通过计算运动 区域的残余光流来分析运动实体的刚性和周期性1 3 6 1 。 1 1 4 目标跟踪 运动目标的跟踪也