视频镜头检测和人体行为分析

中山大学 博士学位论文 视频镜头检测和人体行为分析 姓名：吴娴 申请学位级别：博士 专业：通信与信息系统 指导教师：赖剑煌 20100603 摘要 论文题目： 专业： 学号： 博 士 生： 指导老师： 视频镜头检测和人体行为分析 通信与信息系统 0 7 11 0 6 0 2 吴娴 赖剑煌教授 摘要 在过去的二十年中，人体运动的视觉分析已经成为计算机视觉领域中一个较为活 跃的研究方向，特别是9 1 l 事件后，其重视程度大幅提高，在虚拟现实、智能监控及 身份识别等方面都已具有初步的应用。在人体运动的视觉分析框架中，人体行为的检 测与识别研究既是重点也是难点，它是计算机视觉实现从低、中层处理( 运动检测、 运动目标分类和人体跟踪等) 逐步向高层抽象思维( 人体行为理解与描述等) 转变的 关键。然而，目前此研究尚属初级阶段，主要集中在简单场景下标准行为的检测与识 别，仍有很多挑战性的问题有待解决。 本文首先阐述了人体行为分析( 主要包括人体行为检测与行为识别) 的研究背景 和研究意义，并对已有方法进行了归纳总结。同时介绍了相关的行为数据库，综述了 各种算法的评测性能，并引出人体行为检测与识别的若干关键问题，对其发展趋势作 了较为详细的探讨。随后分别从镜头检测、行为检测、行为识别三方面展开讨论，提 出新算法，并将它们用于解决实际问题。 镜头检测是视频分析的基础，也可以广义地看成是人体行为分析的预处理环节。 由于镜头变化的形成十分复杂，基于强度、颜色以及形状等低层特征的镜头变化检测 经常会发生漏检现象。同时，由于此类特征对噪声、摄像机运动等干扰比较敏感，错 检也较为频繁。针对以上不足，本文提出了一种基于空时显著性变化的统计方法用于 检测视频中的镜头变化。它融合时间历史帧信息和当前帧的空间信息生成显著图，通 过观察空时显著性变化提取相邻镜头之间的差异作为有效特征，在统一框架下，以最 小化检测误差为前提，构造统计检测器从而检测出符种类型的镜头变化。在T R E C 0 1 和各种类型( 广告、体育竞技和电影) 视频上的评测结果表明了以空时显著性变化差 异作为特征的统计镜头检测方法具有定的优越性。 中山大学博士学位论文 在行为检测方面，本文提出一种由粗到精的匹配策略以检测出真实视频中较为复 杂的人体行为。假设只给定一个查询行为的样本，行为检测是在真实视频中搜索与查 询行为相似的所有行为。真实视频通常持续较长时问，若采用穷举搜索的匹配方式， 计算花费相当巨大。因此，本文采取由粗到精的匹配策略：首先通过时间和空间分割 粗糙地确定最有可能存在查询行为的空时体集合：然后通过分别匹配每个空时体与查 询行为之间的结构相似性，检测出真实视频中与查询行为相似的所有行为。实验结果 表明，此方法在W e i z m a n n I I 库上取得了与穷举搜索法相当的检测率，但由粗到精的 匹配策略却使得计算复杂度大大降低。 人体行为识别与行为检测既有相似又有不同之处。行为检测一般是指在给定一个 查询行为样本的条件下，在真实视频巾检测与查询行为类似的所有行为；而行为识别 则是在大量训练样本类别已知的条件下识别未知行为。论文的行为识别工作主要包括 前景周期行为的识别和原始周期行为的识别。 在背景已知的监控条件下，人体剪影比较容易获取，由每帧剪影图像按时序堆叠 起来的空时体则同时包含了人体行为的时间和空间信息。在识别这种前景周期行为的 问题上，本文从几何特性( 弧长及主轴角度) 方面定义了体语义局部二值模式描绘子 并直接用于提取其低维特征，在测试行为与已知行为训练集特征之间构造分类器即可 识别未知行为。在W e i z m a n n I 库的前景行为数据上，我们取得了9 5 5 6 的识别率。 同时，测试实验表明，体语义局部二值模式描绘子对视角的微小变化、部分遮挡及行 为方式的不规则性具有较高的鲁棒性。体语义局部值模式描绘子不需要降维，能够 直接提取行为空时体中的低维特征，并且提取特征的维数只与局部二值模式事先定义 的邻域点个数有关，从而减小了行为之间执行速率的不同对识别率所造成的影响。 在原始周期行为的识别方面，本文提出一种正则回归的秩1 张量投影技术。对视 频数据采用张量的表达方式既可以保留每帧图像内部的空间结构，又可以避免视频中 的二维帧图像转为一维向量而造成的维数灾难。基于张量的分类方法大多采用张量子 空间方法首先获取特征张量，进而对特征张量构造合适的分类器，计算较为复杂。本 文将多类行为识别问题分解为多个O n ev s A l l 的两类回归问题，对每种行为采用正则 回归的方法分别构造秩1 张量投影，通过子集嵌入和后精炼处理将张量样本直接映射 到对应的类别标记。在W e i z m a n n I 库和K T H 库的分割行为数据和原始行为数据上， 我们将秩1 张量投影技术与张量子空间方法及行为识别的最新方法进行比较，获得与 其相当甚至更高的识别率。同时，秩1 张量投影技术具有很好的算法收敛性，运行耗 I I 摘要 时大为降低，对视角变化、部分遮挡及行为方式的不规则性也具有一定的鲁棒性。 关键词镜头检测，行为检测，行为识别，空时显著性，局部二值模式，张量分析 I I I T i t l e ：V i d e o I S h o tT r a n s i t i o nD e t e c t i o na n dH u m a nA c t i o nA n a l y s i s M a j o r ：C o m m u n i c a t i o na n dI n f o r m a t i o n S y s t e m s S t u d e n tI D ：0 7 1 1 0 6 0 2 N a m e ：X i a nW U S u p e r v i s o r ：P r o f e s s o rJ i a n - H u a n gL A I A B S T R A C T V i s u a l b a s e dh u m a nm o t i o na n a l y s i sh a sb e e n a t t r a c t i n gm o r ea n dm o r ea t t e n t i o n a n db e c o m i n gav i t a lr e s e a r c ht o p i cs i n c et w od e c a d e sa g o A f t e rt h et e r r o r i s ti n c i d e n t h a p p e n e di n 1lt h S e p t e m b e r2 0 01 ，a ni n c r e a s i n gn u m b e ro fr e s e a r c h e r sh a v eb e e n e n g a g e di nt h i sw o r k N o w a d a y s , t h et e c h n i q u e sa r ea p p l i e di nv a r i o u sp r a c t i c a l a p p l i c a t i o n ss u c h 嬲v i r t u a l l yr e a l i t y , i n t e l l i g e n ts u r v e i l l a n c ea n dh u m a ni d e n t i f i c a t i o n I nt h ef r a m e w o r ko fh u m a nm o t i o na n a l y s i s ，t h em o s td i f f i c u l ta n dc r i t i c a lp r o b l e m sa r e t h ed e t e c t i o na n dr e c o g n i t i o no fh u m a na c t i o n s , w h i c hp l a yt h es i g n i f i c a n tr o l e0 nt h e a b s t r a c t i o nf r o mt h ep r o c e s s e si nt h el o wa n dm i d d l el e v e l s ( m o t i o nd e t e c t i o n ，o b j e c t c l a S s i f i c a t i o na n dh u m a n t r a c k i n g ) t ot h ep r o c e s s e si nt h eh i g hl e v e l ( t h eu n d e r s t a n d i n g a n dd e s c r i p t i o no fh u m a na c t i o n ) i nt h er e s e a r c ho fc o m p u t e rv i s i o n H o w e v e r t h e r e s e a r c hw o r ki ss t i l lo nt h ep r i m a r ys t a g ea t p r e s e n t I ti sm a i n l yf o c u s e do nt h e d e t e c t i o na n dr e c o g n i t i o no ft h es t a n d a r da c t i o n su n d e rt h ec o n d i t i o no f s i m p l e b a c k g r o u n d ，S Ot h e r ea l em a n yc h a l l e n g i n gp r o b l e m st ob es o l v e d I nc h a p t e ro n e ，t h eb a c k g r o u n da n dt h es i g n i f i c a n c eo f t h er e s e a r c hO nh u m a na c t i o n a n a l y s i sa r ep r e s e n t e da n dt h em e t h o d sp r o p o s e di nt h el i t e r a t u r e sa r ec a t e g o r i z e d M e a n w h i l e ，t h ee x i s t i n ga c t i o nd a t a b a S e sa r ei n t r o d u c e da n dt h e p e r f o r m a n c e so f d i f f e r e n tm e t h o d sa r es u r v e y e d M o r e o v e r , t h et e n d e n c i e so fs o m ec r i t i c a Ip r o b l e m si n h u m a na c t i o na n a l y s i sa r ed i s c u s s e di nd e t a i l t r a n s i t i o nd e t e c t i o n ，h u m a na c t i o nd e t e c t i o na n d a n da p p l i e dt oa d d r e s st h e p r a c t i c a lp r o b l e m s T h e ns e v e r a ln e wa l g o r i t h m sf o rs h o t h u m a na c t i o nr e c o g n i t i o na r ep r o p o s e d I nc h a p t e rt w o ，an o v e ls h o tt r a n s i t i o nd e t e c t i o nm e t h o di sp r o p o s e db a S e do nt h e c h a n g eo fs p a t i o - t e m p o r a ls a l i e n c y C o l o r , i n t e n s i t ya n ds h a p ef e a t u r e sb e t w e e n V s u c c e s s i v ev i d e of a m e sa r eu s u a l l yu s e dt od e t e c ts h o tt r a n s i t i o n s B u t t h ee f i e c t so f s h o tc h a n g e sa r ed i v e r s e ，m i s sd e t e c t i o n sw i l le a s i l yo c c u r i fo n l yt h e s el o wo rm i d d l e l e v e lf e a t u r e sa r ee x p l o i t e df o rv i d e ot r a n s i t i o n d e t e c t i o n M o r e o v e r , d u e t oi t s s e n s i t i v i t 、rt ot h en o i s e ，c a m e r af l a s h e sa n dc a m e r am o t i o n ，f a l s ed e t e c t i o n s a l s oh a p p e n f r e q u e n t l v I n s t e a do ft h e s e ，w ec o m b i n et h et e m p o r a l a n ds p a t i a li n f o 瑚a t l o nt o g e n e r a t eas a I i e n c ym a pa n du t i l i z et h ef e a t u r e sb a s e do nt h ec h a n g eo fs p a t i o - t e m p o 。a l s a l i e n c y C o n s i d e r i n gt h ec o n t e x to fs h o tc h a n g e s ，as t a t i s t i c a ld e t e c t o r i sc o n s t r u c t e dt o d e t e r m i n ea 1 1t y p e so fs h o tc h a n g e sb ym i n i m i z i n gt h ed e t e c t i o n e r r o rp r o b a b i l i t yu n d e r t h es a m e 仔a m e w o r k T h ep r o p o s e da p p r o a c ho u t p e r f o r m so n em o r er e c e n tt e c h n l q u e a n d a V a i l a b l es y s t e m so fv i d e oa n a l y s i so n t h ee v a l u a t i o nd a t a s e tf r o mT R E C O la n d 妇rp u b l i cs o u r c e s ，w h i c hv a l i d a t e st h es u p e r i o r i t yo f t h ef e a t u r e sb a s e do nt h ec h a n g e o ft h es p a t i o - t e m p o r a ls a l i e n c y I nc h a p t e rt h r e e ，ac o a r s e t o f i n es t r a t e g yi sd e v e l o p e dt od e t e c th 啪a na C t l o n sm t h er e a l i s t i cv i d e o sg i v e nas i n g l ee x a m p l e o fs u c ha c t i o n S i n c ear e a l i s t i cv i d e oa l w a y s l a s t sal o n gt i m e ，e x h a u s t i v es e a r c h i sp r o h i b i t i v ed u et ot h ee n o l m o u sX 。Y - 。I 。s e a r c h s p a c e Ac o a r s e - t 0 f i n em e t h o di sn e c e s s a r yt or e d u c es u c ha h u g es e a r c hs p a c e I n p u t v i d e oi sf i r s t l ys e p a r a t e di n t o ab a t c ho fs p a t i o - t e m p o r a lv o l u m e sb a s e do nt h e V o l u m e t r i c 矗斑u r e sa n dt h e nf u r t h e r i d e n t i f i e db yc o n t e x t u a lm o t i o nm t I o m a t l o n I n s t e a do ff u l ls e a r t hw i t h i nt h ei n p u tv i d e o ，q u e r ya c t i o ni sl o c a l i z e db ym a t c h i n gl o c a l s a l i e n tg e o m e t r i cf e a t u r e so n l y b e t w e e ni t s e l fa n dt h es e g m e n t e ds p a i t o - t e m p o r a l v 0 1 u m e s T h i sm e t h o di sl e a r n i n g f r e e ，a n dt h ed e t e c t i o nr e s u l t sa r ec o m p a r a b I et o 【o 。 e v e nb e n e rt h a n ) t h o s eo ft h ee x h a u s t i v es e a r c hw h i l e t h ec o m p u t a t i o n a lc o s tI Sg r e a t l y r e d u c e di nW e i m a n n - I Ia c t i o nd a t a s e t H u m a na c t i o nr e c o g n i t i o ni ss i m i l a rt oa c t i o nd e t e c t i o ni nt h ea b o v e ，b u td 。f f e r sm t h ef o i l o w i n ga s p e c t s ：a c t i o nd e t e c t i o ni st od e t e c th u m a n s i m i l a ra c t i o n sl nt h et a r g e t v i d e o sg i v e nas i n g l ee x a m p l eo fs u c ha c t i o n ；a c t i o nr e c o g n i t i o n i st oa s s i g nt h ec l a S s l a b e lo fa nu n I ( n o W na c t i o nw i t ht h et y p eo fm a n ya c t i o n s h a v eb e e nk n o w n O u rw o r k 0 nh u m a na c t i o nr e c o g n i t i o n i sd i v i d e di n t ot w op a r t s ：s e g m e n t e dp e r i o d l c t 1 0 n r e c o g n i t i o na n do r i g i n a lp e r i o d i ca c t i o nr e c o g n i t i o n T h es e g m e n t e dp e r i o d i ca c t i o nr e c o g n i t i o ni sd i s c u s s e d i nC h a p t e rf o u r s u p p 。s et h e b a c k g r o u n dh a Sb e e ng i v e na n d t h ec a m e r ai sf i x e di nt h es c o n e , s i l h 。u e t t ei sc 。n s i d e r e d t ob ee a S i l ye 删e d a n ds u p p l i e sS U 衔c i e n tb o d ys h a p ei n f o r m a t i o n H u m a n a c i o nc 柚 b et r e a t e da sas p a c e t i m ev o l u m es t a c k e db yt e m p o r a lc o n t i n u o u ss i l h o u e t t e s ，w h i c h c o n t a i n sb o t hi n s t a n ts p a t i a li n f o r m a t i o na n dd y n a m i ct e m p o r a lm o t i o ni n f o r m a t i o n W e d e f i n ean o v e lr e p r e s e n t a t i o no fL B Pf r o mt h ev i e wo fg e o m e t r i cp r o p e r t y , w h i c hi s c a l l e dv o l u m es e m a n t i cL B P , a n da p p l yi tt oe x t r a c tt h el o w - d i m e n s i o n a lf e a t u r e sf r o m t h es p a c e t i m ev o l u m e T h eu n k n o w na c t i o ni si d e n t i f i e db ym e a s u r i n gt h ec h i s q u a r e d i s t a n c eo ff e a t u r e sb e t w e e ne a c hp r o b es i l h o u e t t es e q u e n c ea n dg a l l e r ys i l h o u e t t e s e q u e n c es e t s W ea c h i e v et h er e c o g n i t i o na c c u r a c yo f9 5 5 6 o nt h ee v a l u a t i o no ft h e s e g m e n t e da c t i o nd a t ap r o v i d e db yW e i z m a n n - Id a t a s e t T h ea d d i t i o n a le x p e r i m e n ta l s o i n d i c a t e si ti sr o b u s tt ot h es m a l lv i e wc h a n g e s ，o c c l u s i o na n dt h ei r r e g u l a rm o t i o n s t y l e s V o l u m es e m a n t i cL B Pi sm o r ea d a p t a b l et ot h es e g m e n t e da c t i o ns e q u e n c e s I t c a nd i r e c t l ye x t r a c tt h el o w - d i m e n s i o n a lf e a t u r e sw h o s ed i m e n s i o ni so n l yr e l a t e dt ot h e n u m b e ro fn e i g h b o r h o o dp o i n t si nL B P , S Ot h ep r o p o s e dm e t h o di sr o b u s tt Ot h e v a r i a n c eo ft h ee x e c u t i o nr a t eb e t w e e na c t i o n s T h ef i f t hc h a p t e ri sa b o u tt h eo r i g i n a lp e r i o d i ca c t i o nr e c o g n i t i o n f oa d d r e s st h e c u r s eo fd i m e n s i o n a l i t ya n dm a i n t a i nt h el o c a ls p a t i a li n f o r m a t i o nw i t h i ne a c hv i d e o i m a g e ，w ee n c o d ea na c t i o nb yat h i r d - o r d e rt e n s o ru s i n gm u l t i l i n e a ra l g e b r at o r e p r e s e n tt h ed a t ai ni t sn a t u r a lf o r m T h ee x i s t i n gt e n s o r - b a s e dr e c o g n i t i o nt e c h n i q u e s u s u a l l yr e l a t et ot e n s o rs u b s p a c em e t h o d s ，w h i c hi n v o l v et h eo p t i m i z a t i o ns o l v e db y t i m e c o n s u m i n gH O S V D M o r e o v e r , w h i c hd i s t a n c em e t r i ci so p t i m a lf o rt h eo b t a i n e d e i g e n t e n s o ri ss t i l lu n k n o w n T h i sc h a p t e rp r o p o s e san o v e lm e t h o df o rc l a s s i f i c a t i o n u s i n gr a n k 1t e n s o rp r o j e c t i o nv i ar e g u l a r i z e dr e g r e s s i o nt od i r e c t l ym a p t e n s o re x a m p l e t oi t sc o r r e s p o n d i n gb i n a r yl a b e l B ya p p l y i n gt h i sm e t h o dt ot h em u l t i l a b e la c t i o n c l a s s i f i c a t i o nb a s e do nt h ei d e ao f p r o b l e m t r a n s f o r m a t i o na n ds u b s e t e m b e d d i n g p o s t - r e f i n et e c h n i q u e ，w e o b t a i nt h e c o m p a r a b l e r e s u l t st ot h e s t a t e o f - t h e - a r ta p p r o a c h e so nt h es e g m e n t e da n dt h eo r i g i n a la c t i o ns e q u e n c e sf r o m W e i z m a n n Ia n dK T Hd a t a s e t T h ee x p e r i m e n t a lr e s u l t sa r ea l s oc o n s i d e r a b l yr o b u s tt o t h es m a l lc h a n g e so ft h ev i e w p o i n t ，p a r t i a lo c c l u s i o na n di r r e g u l a r i t i e si nt h em o t i o n s t y l e s K E YW O R D SS h o tt r a n s i t i o nd e t e c t i o n ，a c t i o n d e t e c t i o n ，a c t i o nr e c o g n i t i o n ， s p a t i o t e m p o r a ls a l i e n c y , l o c a lb i n a r yp a t t e r n s ，t e n s o ra n a l y s i s V n 主要符号对照表 主要符号对照表 实空间I L J 标量 向量 矩阵 张量 矩阵行列式 矩阵的迹 复数的实数部分 复数的共轭 卷积操作 对x 求偏导 直方图卡方统计 高斯核函数 外积运算符 内积运算 规范化算子 吼x x x x诎揪掣幸乱矿r p 吼x x x x诎胁。 幸乱矿r p ” 插图索引 插图索引 图1 1W e i z m a n n I 库中1 0 种行为 图卜2K T H 库4 种条件下的6 种行为 图2 1空时显著图的形成模型 图2 2切变：原始图像及空时显著图 图2 3渐变：原始图像及空时显著图 图2 - 4差分序列( 包括一个切变和渐变) 图2 5对差分序列进行双窗口放大操作前后的对比 图2 - 6镜头内部观测量z 的分布 图2 7镜头边界观测量z 的分布 图2 - g所有视频的测试结果图 图3 1空时兴趣点及空时分体检测的单帧图像显示 图3 2真实视频中由粗到精的行为检测 图3 3感兴趣窄时体的粗搜索 图3 4不同像素点上局部自相似体的可视化 图3 5W e i z m a n n I I 库中4 种不同查询行为的检测结果 图4 1原始L B P 的计算过程示意图 图4 2L B P 算子不同尸、R 值对应示意图 图4 - 3 纥础 4 ，。建模及形成过程 图4 _ 4统一局部二值模式的弧状表示( 弧长及主轴角度) 图4 - 5 比B e , 4 l 建模的二值扩展形式 图4 - 6体语义局部二值模式的圆弧表示( 弧长及主轴角度) 图4 7 陋己胛的统计矩阵 图4 8 特征向量维数与邻域点个数的对应关系 图4 - 9 j a c k 、j u m p 及p j u m p 的剪影轮廓窑时体及中心点三个正交平面图一 图4 - l O 基于飚Z 卯的人体行为特征描述 9 m 俎 M M 拍 插 勰 勰 ” 够 档 够 卯 粥 “ 勉 舛 舛 钌 钙 铂 卯 卯 中山大学博士学位论文 图4 11W e i z m a n n I 库中1 0 种前景行为 图4 1 2“走行为的周期检测 图4 1 3 基于耀乙即的行为识别率与邻域点个数的对应关系 图4 1 4 行为识别结果纵向比较 图4 1 5 行为识别结果横向比较 图4 1 6 鲁棒性测试视频( 视角) 图4 1 7 鲁棒性测试视频( 行为方式的不规则性) 图5 - I正则回归的秩1 张量投影方法思想 图5 2 图5 3 正则回归的秩1 张量投影算法收敛性 算法5 1 张量投影的多类行为标记结果 图5 - 4算法5 1 张量投影的两类行为标记结果( b e n d ) 图5 5K T H 数据库中6 种行为对应的子集嵌入 图5 - 6一些不完整人体剪影轮廓的例子 7 l 图5 7秩1 张量投影技术在K T H 分割数据上的实验结果 图5 8秩1 张量投影技术在K T H 原始行为单元上的实验结果 图5 - 9W e i z m a n n I 库各种S A U s 的6 个关键帧 图5 1 0K T H 库各种S A U s 的8 个关键帧 图5 1l秩1 张量投影技术在K T H 显著行为单元上的实验结果 7 9 8 9 O l 2 3 3 6 O 5 5 6 6 6 6 6 6 7 记 弭 “ 镌 弼 “ 表格索引 表2 1 表2 - 2 表2 3 表2 - 4 训练集合中的视频 测试集合中的视频 表格索引 镜头切变检测性能的比较 镜头渐变检测性能的比较 表2 5不同方法之间的总体性能比较 表3 1W e i z m a n n I I 库中4 种不同查询行为示例的检测结果 表3 2W e i z m a n n I I 库中4 种不同查询行为示例的检测时间 表4 1比卯模型中的符号定义及坐标计算 表4 2基于坯E 钟的行为识别率与分块大小的对应关系 表4 3 瑙Z B 尸的鲁棒性测试结果( 角度和行为方式不规则性) 6 4 表5 1W e i z m a n n I 库分割数据上的实验结果 表5 2K T H 库分割数据上的实验结果 表5 3W e i z m a n n I 原始数据上的实验结果 表5 4K T H 库原始数据上的实验结果 7 5 7 5 7 9 8 0 表5 5秩1 张黾投影技术的鲁棒性测试结果( 角度和行为不规则性) 8 0 如 如 弛 砣 驺 稻 档 “ 关于学位论文使用授权的说明 本人完全了解中山大学有关保留、使用学位论文的规定，即： 中山大学拥有在著作权法规定范围内学位论文的使用权，其中包括：( 1 ) 已 获学位的研究生必须按学校规定提交学位论文，学校可以采用影印、缩印或其他 复制手段保留研究生上交的学位论文；( 2 ) 为教学和科研目的，学校可以将公开 的学位论文作为资料在图书馆、资料室等场所供校内师生阅读，或在校园网上供 校内师生浏览部分内容；( 3 ) 根据中华人民共和国学位条例暂行实施办法， 向国家图书馆报送可以公开的学位论文。 本人保证遵守上述规定。 ( 保密的论文在解密后应遵守此规定) 作者签名：装塑 日期：翌! ! ：! 皂：哆 导师签名：筵剐丛 日期：竺生：墨：生 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人 或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承 担。 学位论文作者签名： 谚、 炙硼 日期：2 o 0 年06 月D 雩日 第1 章 绪言 第1 章绪言 1 1研究背景与意义 视觉能够提供外部世界中物体和事件的丰富信息，是人类观察世界和认知世界的 重要手段。随着信息技术的快速发展，计算机硬件处理能力和存储能力不断提高，我 们希望日常生活中的计算机同样具备人类的视觉功能，能够代替人眼和大脑对景物环 境进行感知、描述、解释和理解，从而形成了计算机视觉这门综合性学科。计算机视 觉由计算机科学、信号处理、物理学、应用数学和统计学、神经生理学和认知科学等 多学科交叉而成，是科学研究和工程应用中一个富有挑战性的研究领域。面对日益扩 大的需求，计算机视觉技术不断进步，研究范围迅速扩展，具有十分广阔的应用前景。 目前，基于视觉的人体运动分析已经成为计算机视觉领域中一个备受关注的研究 方向。它采用计算机视觉的方法，在不需要人为干预的情形下，从视频序列中检测、 跟踪、识别人并对其行为进行理解与描述，使得计算机系统具有自动获取外部信息的 能力，并能够通过正确分析做出及时而又恰当的响应。其中，人体行为检测及识别是 计算机实现从低、中层次的视觉处理向高层抽象思维转变的关键，具有非常重要的研 究价值。它的典型应用主要集中于以下四个方耐1 t 2 】： ( 1 ) 智能监控 智能监控是人体行为检测与识别研究最有价值的应用之一。监控摄像机在公共场 所，特别是银行、超市、停车场等敏感场所已普遍存在，用来记录并存储场景中每一 时刻的图像数据。异常行为发生之后，监控人员可通过存储数据观察并确认当时发生 的事实，但这往往已为时过晚。我们需要的监控系统应该能够连续实时地监视，自动 分析摄像机捕捉的图像数据，当可疑人物出现或异常行为发生时，可及时准确地发出 警报，从而避免犯罪的发生，同时也可减少雇佣大批监控人员所需的物力财力的投入。 ( 2 ) 虚拟现实 基于互联网的交互式空间已经逐渐发展起来，若能在传统文本及图标导航的基础 上，增加人体头部及身体姿势等线索，提供给用户多元化的交互方式，将会使得交流 更加顺畅。而电子游戏中虚拟人物形体与行为交互的设计源自于实际物理空间中的人 中山大学博士学位论文 体运动分析，具体包括人体模型的建立，关节运动机制的获取及行为姿势的恢复等等。 另外，在虚拟工作室、人物动画及视频会议等虚拟现实的其它场合，人体行为分析也 有着广泛的应用。 ( 3 ) 人机交互 在高级用户接口的应用中，我们希望人与机器的交流能像人与人之间一样地容 易，这就要求除了可理解的自然语言，还需借助手势、身体姿势和面部表情这一系列 的“肢体语言”，实现更为智能的人机交互。则未来的计算机必须具备感知外界环境 的能力，独立地提取环境中的重要信息，检测到人的存在，进一步识别并理解其行为， 结合面部表情、手势等的分析，才可与人进行相应的交流。 ( 4 ) 运动分析 在视频数据库中，若能正确分析人体行为，则能实现基于内容的快速检索，十分 便捷地浏览用户所感兴趣的视频内容。此外，在视频帧图像中对人体各组成部分进行 分割，建立人体几何模型，并在视频序列中跟踪分析感兴趣的关节运动，可以解释人 体的运动行为机制，将其应用于体育竞技、舞蹈等训练过程中，对参与者技术水平的 提高有着积极的推动作用。 1 2 人体行为检测与识别的研究进展 人体行为检测与识别的研究源于1 9 世纪中后期，从上一世纪9 0 年代开始引起人 们广泛的关注。特别是美国“9 1 l ”恐怖袭击、马德里爆炸案以及伦敦爆炸案发生之 后，其重视程度大幅提高，所发表的文献数量呈增长趋势，研究方法也呈现出丰富的 多样性。本节将从原始视频的特征提取、低层特征的描述与识别两方面【2 】对现有方法 进行大体分类，并对各类方法作一个简短的综述。 1 2 1原始视频的特征提取 ( 1 ) 光流场 光流场是空间运动物体在观测成像面上像素运动的瞬时速度。它利用图像序列中 的像素强度数据的时域变化和相关性来研究图像的灰度在时间上的变化与场景巾物 体结构及其运动的关系。光流法通常假设相邻帧的图像差异非常小，从而获取对真实 运动场的近似估计【3 1 。它不用预知任何先验知识，即能提供有关运动速度及图像中运 2 第i 章 绪言 动区域的简洁描述，适用于摄像机运动的情形。但光流法易受噪声及光照变化的影响， 且计算较为复杂，很难用于实时的视频监控系统。 ( 2 ) 点轨迹 目标的运动轨迹也可以作为特征，从而大致推断出目标运动所属的行为类别。但 图像平面上的轨迹对平移、旋转和缩放等变换比较敏感，因此在大多情形下，此特征 显得不够可靠。常用的替代特征表达有轨迹速度、时空曲率等【4 ，5 1 。运动轨迹的获取比 较依赖于精确的跟踪算法。从原始视频中提取点轨迹特征同样容易受到噪声、遮挡及 混乱背景等的影响。 ( 3 ) 人体形状表达 在摄像机固定的情形下，假设背景已知，通过背景剪除法可以很容易得到运动人 体形状。基于全局、边界及骨架等的描绘子都可以用来表达人体形状。全局方法1 6 , 7 1 如剪影、矩等是在整体形状区域内计算描绘子，而边界方法仅考虑形状轮廓【8 l ，骨架i 方法则是用一组l D 骨架曲线代表一个复杂的人体形状，比如中轴变换 9 1 等。 ( 4 ) 滤波器响应 空时滤波器响应是一个广义上的分类。Z h a n g 等【l o 】存时间轴上计算高斯导数，将 滤波器响应较高的区域作为运动区域。L a p t e v I 1 利用一组空时高斯导数滤波器将 H a r r i s 角点检测扩展应用于三维的视频数据从而检测出空时兴趣点。这类方法大都基 于简单的卷积操作，运算快速而简便。当视频分辨率较低的情形下，提取光流或剪影 特征较为困难，利用滤波器响应特性可以从视频数据中提取有效的低层特征。 1 2 2 低层特征的描述与识别 我们将低层特征的描述与识别方法分为三类：非参数方法、空时体方法和参数 时序法，分别对现有方法进行归类，并作一个简短的综述。 1 2 2 1 非参数方法 一般