（信号与信息处理专业论文）基于图像处理的智能交互数字电视终端的研究.pdf

摘要 摘要 基于图像处理的智能交互数字电视终端的研究 学生姓名：薛竞腾导师姓名：邹采荣 东南大学信息科学与工程学院 数字电视正在走向智能化和交互化。电视媒体流的数字化方便了数字电视软件获取 和分析电视节目描述信息；而图像处理及机器视觉技术的进步和普及则使数字电视系统 通过人脸识别判别观众身份和状态成为可能。在此基础上可以开展一系列人机互动的新 兴应用，成为未来电视技术的一个发展方向。本文的研究内容就是这样一种结合人脸识 别图像处理技术和数字电视传输流分析技术的电视终端应用：智能交互数字电视节目管 理系统。通过介绍该系统的原理、设计和实现，讨论了智能交互数字电视应用的一种设 计开发思路。 本文首先介绍数字电视传输流及节目信息的解码，重点在于通过对m p e g 2 传输流 的码流分析获取节目信息。然后比较了几种不同的人脸识别方案，并根据数字电视计算 资源紧缺、观众个体数量少差异大的特点选择了特征脸主成分分析方法。鉴于电视播放 环境通常光照不足，文章引入了一种光照补偿的方法并在o p e n c v 函数库的基础上实现 人脸识别。 文章最后介绍了智能交互数字电视节目管理系统的设计和实现。该系统能自动识别 电视观众的身份，并可学习观众的节目偏好，为观众推荐其最有可能感兴趣的电视节目。 关键词：数字电视；传输流分析；服务信息；人脸识别 a b s t m e t a b s t r a c t d i g i t a lt e l e v i s i o ni sb e c o m i n gi n t e l l i g e n ta n di n t e r a c t i v e t i l ed i g i t a l i z a t i o no ft e l e v i s i o ns t r e a m f a c i l i t a t e st h eo b t a i n i n ga n da n a l y s i so ft h et e l e v i s i o np r o g r a mc o n t e n t s ，w h i l et h ep r o g r e s si n t h ef i e l do fi m a g ea n a l y s i sa n dm a c h i n ev i s i o ne n a b l e sd i g i t a lt e l e v i s i o nt op r o b et h ei d e n t i t y a n ds t a t u so ft h ea u d i e n c e b a s e do l lt h e s et e c h n o l o g i e s ，as e r i e so fn e wa p p l i c a t i o n sc a l lb e d e p l o y e dt oe n h a n c et h ei n t e r a c t i o nb e t w e e nt e l e v i s i o na n dt h ea u d i e n c e t h i sw i l lb ea l l o r i e n t a t i o no ff u t u r et e l e v i s i o nd e v e l o p m e n t t h ec o n t e n to fm i sp a p e ri sat y p i c a la p p l i c a t i o n c o m b i n i n gf a c e r e c o g n i t i o na n ds t r e a m a n a l y s i s i n t e l l i g e n td i g i t a lt e l e v i s i o np r o g r a m s m a n a g e rs y s t e m t h r o u g ht h ei n t r o d u c t i o no ft h ed e s i g na n di m p l e m e n t a t i o no ft h i ss y s t e m t h i sp a p e rd i s c u s s e saw a yt od e v e l o pi n t e l l i g e n ta n di n t e r a c t i v et e l e v i s i o na p p l i c a t i o n s t h 主sp a p e rf i r s ti n t r o d u c e st h ed e c o d i n go fd i g i t a lt e l e v i s i o nt r a n s p o r ts t r e a ma n ds e r v i c e i n f o r m a t i o n e s p e c i a l l yt h ew a yt oe x t r a c tp r o g r a ms p e c i f i ci n f o r m a t i o nf r o mm p e g 2s t r e a m s t r u c t u r e t h e nt h i sp a p e rl i s t sa n dc o m p a r e ss e v e r a ld i f f e r e n ts o l u t i o n so ff a c e r e c o g n i t i o n e i g e n f a c eb a s e dp c am e t h o di sf i n a l l yc h o s e nf o ri t sl o w - c a l c u l a t i o nn e e d g i v e nt h a tt h e t e l e v i s i n ge n v i r o n m e n tg e n e r a l l yi sl o w - i l l u m i n a t e d a i li l l u m i n a t i o n c o m p e n s a t i o na l g o r i t h mi s i n t r o d u c e d f a c e r e c o g n i t i o nm e t h o di si m p l e m e n t e db a s e do no p e n c vf u n c t i o nl i b r a r y a tl a s tt h i sp a p e ri n t r o d u c e st h ed e s i g na n d i m p l e m e n t a t i o no ft h ei n t e l l i g e n td i g i t a lt e l e v i s i o n p r o g r a mm a n a g e rs y s t e m ，w h i c hc a l ld e t e c tt h ei d e n t i t yo fa u d i e n c e ，l e a r nh i s h e rp r e f e r e n c e s ， a n dr e c o m m e n dt h ep r o g r a m sh e s h ew i l lm o s tl i k e l yb ei n t e r e s t e d k e y w o r d s ：d i g i t a lt e l e v i s i o n ；t r a n s p o r ts t r e a ma n a l y s i s ；s e r v i c ei n f o r m a t i o n ；f a c er e c o g n i t i o n i v 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名：盔象遮日期：掣 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复 印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容 和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以 公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究 生院办理。 研究生签名： 第一章绪论 1 1 课题研究背景及意义 第一章绪论 世界通信与信息技术的迅猛发展将引发整个电视广播产业链的变革，数字电视是这一变革中的 关键环节。伴随着电视广播的全面数字化，传统的电视媒体将在技术、功能上逐步与信息、通信领域 的其它手段相互融合，从而形成全新的、庞大的数字电视产业。这一新兴产业已经引起广泛的关注， 各发达国家根据自己的国情，已分别制定出由模拟电视向数字电视过渡的方案和产业目标。数字电视 被各国视为新世纪的战略技术。数字电视成了继电信引爆i t 之后的义一大“热点”。川 数字电视正在走向智能化和交互化。数字电视不同于传统电视，媒体流的数字化方便了数字电视 软件获取和分析电视节目描述信息；而图像处理及机器视觉技术的进步和普及则使数字电视系统通过 人脸识别判别观众身份和状态成为可能。在此基础上可以开展一系列人机互动的新兴应用，成为未来 电视技术的一个发展方向。 1 1 1 数字电视的发展和趋势 1 1 1 1 数字电视系统介绍及其原理 数字电视( d i g i t a lt e l e v i s i o n ) 是从电视信号的采集、编辑、传播、接收整个广播链路数字化的数 字电视广播系统。从电视节目录制、播出到发射、接收全部采用数字编码与数字传输技术的新一代电 视。它具有许多优点，如：可实现双向交互业务、抗干扰能力强、频率资源利用率高等，它可提供优 质的电视图像和更多的视频服务( 如交互电视、远程教育、会议电视、电视商务、影视点播等) 。 数字电视利用m p e g 标准中的各种图像格式，把现行模拟电视制式下的图像、伴音信号的平均码率 压缩到大约4 6 9 - - - 2 1 m b p s ，其图像质量可以达到电视演播室的质量水平，胶片质量水平，图像水平 清晰度达到5 0 0 - - - 1 2 0 0 线以上，并采用a c 3 声音信号压缩技术，传输5 1 声道的环绕声信号。f l 】 信渝 出 接 音 e 、l k s ih , dr 叫信源编码卜 珞 啼 码口 音、 7 i 广，1 信源编码r 复 i 用 - ra d1 p 音频编码 斗 一一- - - - - 一一_ - 一- - - - - 一- - - - - - - 一- 一一一一一- - 一- - - - _ 一一 一 i 陟叵固 回困 酐圆 图1 1 数字电视系统组成框图 肯 输 线 珞 在传统的模拟电视中，模拟全电视信号通过调制在无线电射频载波上发送出去。广播信道可以是 地面，“播、有线电视网或卫星广播。数字电视则是将电视信号进行数字化采样，其信号的数据率很高， 演播室质量的数字化电视信号的数据率在2 0 0 m b p s 左右。要在原模拟电视频道带宽内传输如此高速 率的数字信号是不可能的，因此，必须发展数据压缩技术。1 2 j 实现数据压缩技术方法有两种：一是在信源编码过程中进行压缩，利用人类听觉视觉效应去除信 号中的多余成分，在不影响收听收看效果的前提f 尽量压缩数据率；二是改进信道编码，发展新的数 字调制技术，提高单位频宽数据传送速率。在信源编码方面，i e e e 的m p e g 专家组已发展制订了 团母 东南人学硕士学位论文 i s o i e c l l l 7 2 ( m p e g 1 ) 和i s o i e c l 3 8 1 8 ( m p e g 2 ) 两项国际标准。m p e g 1 的输入视频格式为 c i f 3 5 2 x 2 8 8 ，主要用于c d - r o m 、v c d 或t l ( e 1 ) 线路传输，码率为固定的l 。5 m b p s ；m p e g 2 供数 字电视使用，它支持标准分辨率的1 6 ：9 宽屏及高清晰度电视等多种格式，其码率可变，为3 - 4 0 m b p s 。 信源编码是把节目源的模拟图声信号变为数字信号，再经过m p e g 2 压缩编码，形成数字信号 源，并根据多个节目传输的要求，编为复用码流。m p e g 2 是广播电视数字压缩的国际标准。采用不 同的层和级组合即可满足从家庭质量到广播级质量以及将要播出的高清晰度电视质量不同的要求， 其应用面很广。从进入家庭的d v d 到卫星电视、广播电视微波传输都采用了这一标准。 2 1 目前，数字电视的传输途径可分为三种：数字卫星电视、数字有线电视和数字地面开路电视。这 三种数字电视的信源编码方式相同，都是m p e g 2 的复削数据包，但由于它们的传输途径不同，它们 的信道编码也采用了不同的调制方式。例如，欧洲d v b 数字电视系统中，数字卫星电视系统( o v a s ) 采用正交相移键控调制( o p s k ) ；数字有线电视系统( o v a c ) 采用正交调幅调制( q a m ) ；数字地面开路 电视系统( d v b t ) 采用更为复杂的编码正交频分复用调$ 1 ( c o f d m ) 。 2 1 数字电视涵盖了整个电视系统的整体概念，它包括从节目的制作、生产、传输以及用户的接收和 全系统的运行、管理都是以数字技术为基础。 电视数字化是电视发展史上又一次重大的技术革命。数字电视不但是一个由标准、设备和节目源 生产等多个部分相互支持和匹配的技术系统，而且将对相关行业产生影响并促进其发展。 1 1 1 2 数字电视系统的优势 数字电视技术与原有的模拟电视技术相比，有许多的优点。 数字电视技术具备的优点有： ( 1 ) 信号杂波比和连续处理的次数无关。电视信号经过数字化后是用若干位二进制的两个电平 来表示，因而在连续处理过程中或在传输过程中引入杂波后，其杂波幅度只要不超过某一额定电平， 通过数字信号再生，都可能把它清除掉，即使某一杂波电平超过额定值，造成误码，也可以利用纠错 编、解码技术把它们纠正过来。所以，在数字信号传输过程中，不会降低信杂比。而模拟信号在处理 和传输中，每次都可能引入新的杂波，为了保证最终输出有足够的信杂比，就必须对各种处理设备提 出较高信杂比的要求。模拟信号要求s n 4 0 d b ，而数字信号只要求s n 2 0 d b 。模拟信号在传输过 程中噪声逐步积累，而数字信号在传输过程中，基本上不产生新的噪声，也即信杂比基本不变。d j ( 2 ) 可避免系统的非线性失真的影响。而在模拟系统中，非线性失真会造成图像的明显损伤。 ( 3 ) 数字设备输出信号稳定可靠。因数字信号只有”0 ”、”1 i 两个电平，”l i t 电平的幅度大小只要满 足处理电路中可能识别出是”l ”电平就可，大一点、小一点无关紧要。 ( 4 ) 易于实现信号的存储，而且存储时间与信号的特性无关。近年来，大规模集成电路( 半导体 存储器) 的发展可以存储多帧的电视信号，从而完成用模拟技术不可能达到的处理功能。例如，帧 存储器可用来实现帧同步和制式转换等处理，获得各种新的电视图像特技效果。 ( 5 ) 由于采用数字技术，与计算机配合可以实现设备的自动控制和调整。 ( 6 ) 数字技术可实现时分多路，充分利用信道容量，利用数字电视信号中行、场消隐时间，可 实现文字多工广播( t e l e t e x t ) 。 ( 7 ) 压缩后的数字电视信号经数字调制后，可进行开路，“播，在设计的服务区内( 地面广播) ，观 众将以极大的概率实现”无差错接收”( 发0 收”0 ”，发”l ”收”l ”) ，收看剑的电视图像及声音质量非常接 近演播室质量。 ( 8 ) 可以合理地利用各种类型的频谱资源。以地面广播而言，数字电视可以启用模拟电视的“禁 用频道”( t a b o o c h a n n e l ) ，而且在今后能够采用“单频率网络”( s i n g l e f r e q u e n c y n e t w o r k ) 技术，例如l 套电视节目仅占用同1 个数字电视频道而覆盖全国。此外，现有的6 m h z 模拟电视频道，可用于传 输l 套数字高清晰度电视节目或者4 6 套质量较高的数字常规电视节目，或1 6 2 4 套与家用v h s 录像 机质量相当的数字电视。肖目。 ( 9 ) 在同步转移模式( s t m ) 的通信网络中，可实现多种业务的”动态组合”( d y n a m i cc o m b i n a t i o n ) 。 2 第一章绪论 例如，在数字高清晰度电视节目中，经常会出现图像细节较少的时刻。这时由于压缩后的图像数据量 较少，便可插入其它业务( 如电视节目指南、传真、电子游戏软件等) ，而不必插入大量没有意义的“填 充比特”。 ( 1 0 ) 很容易实现加密解密和加扰解扰技术，便于专业应用( 包括军用) 以及广播应用( 特别是 开展各类收费业务) 。 ( 1 i ) 具有可扩展性、可分级性和互操作性，便于在各类通信信道特别是异步转移模式( a t m ) 的网络中传输，也便于与计算机网络联通。 ( 1 2 ) 可以与计算机”融合”而构成一类多媒体计算机系统。成为未来”国家信息基础设施”州i d 的 重要组成部分。 而对于用户体验来说，数字电视系统也具备许多优势： ( 1 ) 节省带宽资源 我国电视的模拟电视制式为p a ld k ，有线电视系统的总带宽为7 5 0 m h z ，一个电视频道的带宽 是8 m h z ，即采用模拟传输体制，每8 m h z 带宽只能传送一套电视节目。而采用数字电视传输体制， 利用q a m 6 4 的调制方式，在1 个8 m h z 模拟频道可以传6 8 套数字电视节目，大大增加了有线电 视系统的传输能力。这样算一算可以发现，在5 5 0 m h 加7 5 0 m h z 的2 0 0 m h z 的带宽中，传输的节目 可达到2 0 0 多套。 ( 2 ) 图像质量更好 在收看模拟地面电视信号的时候用户往往会发现，随着传输距离的增加，信号质量会逐渐劣化。 越是尾端的用户越是感到收看的图像质量不佳。 而数字电视设备输出信号稳定可靠，能够避免在模拟系统中非线性失真对图像的影响，消除了微 分增益和微分相位失真引起的图像畸变；另一方面，数字信号通过再生技术和纠错编解码技术使在传 输过程中噪声不逐步积累；基本不产生新的噪声，保持信噪比基本不变，接收端图像质量基本保持与 发送端一致，适合多环节、长距离传输。用户收看数字电视再也不会为雪花、重影所凼扰，音画质 量将达到d v d 效果。在加装机项盒后用户可用自已的电视机比较一下模拟电视和数字电视的效果就 能明显感觉到图像质量的不同。 ( 3 ) 节目存储、再处理更加方便 传统上电视台普遍采用模拟录像带存储模拟电视节目，不仅需要大量的录像带，而且录像带容易 因老化而损坏。数字化后，电视节目可保存在硬盘、光盘等存储介质中，硬盘和光盘与录像带相比， 有体积小、使用寿命长等优点。另外，由于在数字化的过程中采用了数字压缩技术，使得存储所需的 空间更小。 在数字化后，便于使用各种数字处理，如帧存储器、数字特技机、数字时基校正器，产生新的特 技形式，增强了屏幕艺术效果，同时，数字电视信号具有极强的可复制性，用在节目制作上可大大提 高图像质量。 ( 4 ) 开展更丰富的业务 数字电视系统，可以提供模拟系统根本无法实现的业务。在基本业务方面，应用此数字电视系统， 用户可以收看1 0 0 套以上包括付费电视在内的数字电视节目，以及几十套调频广播节目和数字音频广 播( d a b ) 节目：其次，在电视扩展业务方面，可提供如广播式的服务，如图文电视、电视会议、数 据信息，“播、加密电视、准视频点播( n v o d ) 等；同时，在增值业务方面将来可以通过双向传输系 统进行交互式的多功能应用，如互联网接入、远程教学、远程医疗、电子邮件、计算机联网、数据通 讯、家庭保安监控等多媒体信息服务等。 应刚数字化的有线电视网络能向人们提供的已不仅仅是传统意义上的普通电视节目，而是提供包 括图像、数据、语音等全方位的服务。因为有线电视网的入户带宽为几百兆，因而可利用它开展增值 业务或信息业务。 3 东南大学硕士学位论文 1 1 1 3 数字电视的发展i l i 数字电视的概念来源于7 0 年代提出的高清晰度电视( h d t v ) ，从那以后电视系统的数字化便 从个别的设备数字化开始了，这只是代表电视系统数字化的第一阶段，在这第一阶段中主要是应用数 字技术针对现行的彩色电视制式的主要缺陷进行改良，即：改良电视制式( e x t e n d e dd e f i n i t i o nt v ) 阶段。 随着数字技术、计算机技术和数字图像处理技术的发展，演播室的全面数字化全面展开，其重要 标志就是i t u r b t 6 0 1 标准的制定，使电视节目的数字化生产、制作成为可能，这是电视系统数字化 的第二阶段。 第三阶段的数字化工作的重要标志是传输网络与用户接收的数字化，开始于9 0 年代，首先是日 本子1 9 9 4 年开始了m u s e 系统的高清晰度电视广播，美国在当时表示支持日本的m u s e 系统，但美 国意识到其巨大的潜在市场时，立即推出了全数字化高清晰度标准，即a t s c ( a d v a n c e dt e l e v i s i o n s y s t e mc o m m i t e e ) 。“a t s c ”的突出优点是包括了从低清晰度、标准清晰度( s d t v ) 到高清晰度 的全部领域而全系统数字化。 同时，欧洲也提出了相应的标准d v b ，从而使网络在传输、数字电视节目，到用户的接收有标 准可依。网络因此而发展。目前，国内的同轴电缆数字电视也吸收采纳了d v b 相关标准。 i i i 4 数字电视的趋势 电视是传统的家庭娱乐中心，其地位短时间内不可动摇。数字电视的发展应当立足观众的需要并 充分利用电视数字化的优势。其发展趋势包括智能化和交互化。 智能化的数字电视的发展目标是充当智能化家庭中的人机界面，实现家用电器设备的自动控制和 操作。一个典型的例子是构建小区住户的智能物业管理系统，该系统是在物业区的住户中安装智能管 理主机及各类探头，物业管理中心设置智能管理系统，通过带回传路径的有线电视网实现2 4 小时盗 窃、抢劫、火灾、煤气泄漏、紧急求救等自动报警，以及对住户水、电、气三表的自动抄送、银行清 算等。 数字电视的交互化既指电视与人的交互，又指电视的网络化。电视与入的交互，将不再局限于人 被动收看电视节目的关系，而是让人来选择播出什么节目，如何播出。普通电视只能被动地接收广播 节目；互动电视不仅可以收看正常的电视节目，而且还可以在不中断观众观看电视节目的同时，主动 提供即时信息服务。如电子节目指南、时事新闻、娱乐等一切网络信息，这些信息是叠加在电视图像 上的，所以不影响电视的收看。 电视的网络化，使电视内置嵌入式平台，实现了电视与互联网的对接。人们在休闲的同时，可以 浏览互联网所提供的丰富信息资源。互联网的资源也为电视的多样化应用提供了可能。 相对于国外来说，中国的互动电视起步较晚，但发展却相当迅速。去年年初，上海有线电视台率 先推出真正意义上的互动电视服务。接着，深圳、南京和无锡等地都纷纷开通了互动电视，随后作为 中国电视传媒老大的央视推出c c t vs i ( c c t vs p o r ti n t e r a c t i v e 中央电视台互动体育) 这 张王牌宣布进军互动电视领域，中央电视台已经决定用互动技术全程转播今年夏天的日韩世界杯足球 比赛，到时候观众可以随心所欲地切换观看比赛的视线角度，甚至可以从电视屏幕上追踪自己喜爱的 任何一名球员。 1 1 2 人脸识别技术的发展 近年来，随着计算机技术的迅速发展，人脸自动识别技术得到广泛研究与开发，人脸识别成为近 3 0 年里模式识别和图像处理中最热门的研究主题之。人脸识别的目的是从人脸图像中抽取人的个 性化特征，并以此来识别人的身份。其过程是基于人的脸部特征，对输入的人脸图象或者视频流进行 分析。 首先判断其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要 面部器官的位置信息。并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的 人脸进行对比，从而识别每个人脸的身份。 4 第一$ 绪论 人脸识技术中被广泛采州的区域特征分析算法，它融合了计算机图像处理技术与生物统计学原理 于一体通过计算机图像处理技术从视频中提取人像特征点，利崩生物统计学的原理进行分析建立数 学模型即人脸特征模板。利片j 已建成的人脸特，正模板与被测者的人的面像进行特征分析，根据分析 的结果来给出一个相似值。通过这个值即可确定是否为同一 。 脸识别的研究已经有相当k 的历史它的发展大致可以分为四个阶段； 第一阶段：人脸识别最早的研究工作至少可追朔到二二十世纪五十年代在心理学方面的研究和六十 年代在1 1 程学方面的研究。jsb n m 盯丁1 9 5 4 年写f 了心理学论文t h e p e r c e p t i o no f p e o p l e 。b l e d s o e 在1 9 6 4 年就 程学写了f a c i a lr e c o g n i t i o np 咖e c tr e p o r t 。国外有许多学校在研究人脸识别技术，其 中有从感知和心理学角度探索人类识别人胎机理的，如是国t e x a s a t d a l l a s 大学的a b d i 奔jt o o l 小组， 由s t i f l i n g 大学的b r u c e 教授和g l a s g o w 大学的b u t t o n 教授台作领导的小组等；也有从视觉机理角度 进行研究的，如英国的g r a w 小组和荷兰g r o n i n g e n 太学的p e l k o v 小组等。 第二阶段：关于人脸的机器识别研究开始于+ 十世纪七十年代。a l l e n 和p a r k e 为代表，主要研 究人脸识别所需要的面部特征。研究者用计算机实现了较高质量的 脸灰度幽模型。遮一阶段f 作的 特点是识别过程全部依赖r 操作人员不是一种可以完成自动识别的系统。 第三阶段：人机变互式识别阶段。h a r m o n 和l e s k 用几何特征参数来表示人脸正面图像。他们 采用多维特征父鼍表示人脸面部特征，井设计了基于达一特征表示 去的识别系统。k a y a 和k o b a y & s h i 则采j j 了统计识别方法用欧氏距离来表征人脸特征，但这类方法需要利用操作员的某些先验知识， 仍然摆脱不了人的干预。 第四阶段：2 0 世纪9 0 年代咀来，随着高性能计算机的出现，人脸识别方法有了重大突破，才进 入了真正的机器自动识别阶段。 个简单的自动人脸识别系统，包括以下4 个方面的内容： ( 1 ) 人脸检测f d e k c o n ) 即从各种不同的场景中检测出人脸的存在井确定其位置。 ( 2 ) 人脸的规范化州o r m a l i z a l i o n ) ：校l e 人脸在尺度、光照和旋转等方而的变化。 ( 3 ) 人脸表征( f a c er e p r e s e n t a t i o n ) ：采取某种方式表示检测山人脸和数据库中的已氪【 脸。 ( 4 ) 人脸识* 4 ( r e c 唧n i o n ) ：将待识别的人脸与数据库中的已知人脸比较，得出相关信息。 1 1 3 图像处理和机器视觉技术在数字电视领域的潜在应用 这里说的图像处理，井不只是指代对电视节目图像的增强处理。其含义为数宇屯视对观众和观看 环境的机器视觉感知。数字电视通过摄像机拍摄和获取环境照片，从中分析出环境的照明、色彩、空 间等信息，井识别出观众( 群) 身份及其状态。 国i2 应川机器视觉技术的未来数字电视终端 迎过这些实时更新的数据，数字电视可卧根据环境情况动态调整电视蚓像的色彩、屏幕的亮度 音响的参数等，并能自动提供观众感兴趣的竹目内容。 东南大学碗 学位论女 1 1 4 应用图像处理和机器视觉技术的智能交互数字电视现状 目前应用图像处理和机器视觉技术的数字电视多还处于宴验宝研究阶段。2 0 0 9 年t c l 推出了一 款配置了高清摄像头的数字电视一体帆x 9 ，具有一些雏形的交互应用。这款电视改变了传统的“看” 电视概念，用户不再仅是电视节日的被动收看者。利用x 9 的互动功能用户可以“用电视”、“玩电视”， 能够真正地成为家庭娱乐的士导者。该机所专有的电视高清摄像机能够让消赞者随时随地的将生活 中的温馨片段记录f 来，通过高清影像互动功能随时播放，使消费者能够与家人起同味生活的! 尊人 时光。 图1 3 带摄像头的互动数字电视艘果展示( 图片中机型为t c l x 9 ) 可以看出t c l 的x 9 实现了高清影像人机互动，迈出r 具备机器视觉能力未来电视研发的第一 步。实际上在这样的硬件条件支持r 通过机器视觉技术可以开发很多有特色的电视应用实现真 止的“人机互动”。 1 2 基于图像处理的智能交互数字电视节目管理系统简介 1 t 2 1 概述 智能交互数字电视节目管理系统是一种典型的结合 脸识别，图像处理拄术和数字电视传输流分 析技术的数字电视终端应用。该系统能白动识别电视观众的身份井可学习观众的节日偏好，为观众 推荐其最有可能感兴趣的电视节目。 1 2 2 系统组成 该数字电视肖目管理系统的t 要组成为数宇电视传输流接敷及分析、d v b 服务信息解析、人脸 识别和智能管理系统四个模块。 其中数字电视传输流获墩及分析模块的功能为接收_ l 解析数字电视竹目传输流。该模块将在第二二 章中详细介绍。 d v b 服务信息解析模块从服务信息中提炼出系统需要的目信息，包括he 1 名称，仃e l 供应商， 日时眭，竹目开始时间等信息。凌模块将在第二三章中洋细舟州。 人脸汉* 0 模块捕捉屏幕前的人脸凹h ，通过人脸识别算法估计其身份。该模扶将在第四章中详细 第一章绪论 介绍。 智能节目管理系统模块则分析观众对电视节目的喜好，为观众重新排序电视节目，并推荐观众可 能会感兴趣的电视节目。该模块将在第五章中详细介绍。 图1 4 基于图像处理的智能交互数字电视节目管理系统框图 1 2 3 系统工作原理 系统工作的基本流程是数字电视传输流获取及分析模块将视音频信息输入解码器和显示单元，同 时将服务信息交给d v b 服务信息解析模块解析，后者再将提炼出的节目信息输入智能节目管理系统。 同时人脸识别模块捕捉和检测观众身份，将其输入智能节目管理系统。 最后智能节目管理系统通过记忆观众正在观看的节目信息来学习观众爱好，并通过特定的算法计 算正在播出的和即将播出的其他电视节目是否会为观众喜爱。 1 3 论文的内容及安排 本文的章节安排如下： 第一章：绪论，主要介绍了基于图像处理的数字电视终端技术的研究背景、发展现状，主要研究 内容及本文所做的工作； 第二章：分析了数字电视传输流协议m p e g 2 系统层，其基本原理，结构。介绍了数字电视传输 流获取及分析模块的实现： 第三章：分析了数字电视节目服务信息编码的协议d v b s i 及其结构。介绍了d v b 服务信息解 析模块的实现； 第四章：介绍和比较了当前主流人脸识别技术，并根据数字电视终端应用的特点和需求选择了带 光照补偿的特征脸方法，同时介绍了基于o p e n c v 的人脸识别模块的实现： 第五章：在第二至第四章结果的基础上介绍了智能节目管理系统的设计和p c 平台原型实现，同 时也介绍了该节目管理系统的测试方法及结果； 第六章：总结全文，概括了全文所做的工作与得到的成果，并对将来的进一步工作做了展望。 7 东南大学硕十学位论文 1 4 本章小结 本章主要介绍了基于图像处理的数字电视终端技术的研究背景，研究意义与发展现状，并对文章 的内容结构安排进行了介绍。 8 第二章数字电视广播传输流读取与分析 第二章数字电视广播传输流读取与分析 数字电视系统应用开发的基础之一就是数字电视广播媒体流的数字化。数字化的媒体流为数字电 视系统应用层程序通过媒体流本身的信息了解数字电视节目的组成和结构提供了可能及便利。而正确 读取和分析数字电视广播传输流则是数字电视系统应用开发的第一步和最为关键的一步。 本章从数字电视广播传输流协议的介绍出发，详细说明数字电视广播传输流的组成结构。同时介 绍读取和分析传输流内容的方法和过程。 2 1 数字电视流媒体系统 2 1 1 数字电视流媒体系统概述p l 目前数字电视系统采用m p e g - 2 传输流。传输流( t r a n s p o r ts t r e a m ) 简称t s 流，它是根据i t u t r e c h 2 2 2 0 f l s o i e c1 3 8 1 8 - 2 和i s o i e c1 3 8 1 8 3 协议而定义的一种数据流，其目的是为了在有可能 发生严重错误的情况下进行一道或多道程序编码数据的传送和存储。这种错误表现为比特值错误或 分组丢失。传送流由一道或多道节目组成，每道节目由一个或多个原始流和一些其他流复合在一起， 包括视频流、音频流、节目特殊信息流( p r o g r a ms p e c i f i ci n f o r m a t i o n ) 和其他数据包。其中p s i 表有 4 种类型：节目关联表( p a t ) 、节目映射表( p m t ) 、网络信息表( n i t ) 和条件访问表( c a t ) 。 数字电视流媒体系统发射端由编码器、分组器和复用器构成。 视频数据视频p e s l 视频编码器分组器 传输流 传输流 复用器 音频数据 音频p e s l 音频编码器分组器 图2 1 传输流的产生 其中视音频编码将在2 1 2 中详细叙述；复用原理将在2 1 4 中详细叙述。 相应的，数字电视流媒体系统的接收端由信道解码器，解复用器和视音频解码器构成。 图2 2 传输解复用和解码原型示例 值得特别指出的是，除了电视节目的视音频基本流外，流媒体系统还会复用一些控制信息，以描 述码流的结构。这部分将在2 1 3 中详细叙述。 9 东南大学硕上学位论文 2 1 2 数字电视的信源编解码技术1 2 l 数字电视尤其数字高清晰度电视与模拟电视相比，在实现过程中，最为困难的部分就是对视频信 号的压缩。在1 9 2 0 1 0 8 0 显示格式下，数字化后的码率在传输中高达9 9 5 m b i f f s ，这比现行模拟电视 的传输信息量大得多。因而数字电视的图像不能象模拟电视的图像那样直接传输，而是要多一道压缩 编码工序。视频编码技术主要功能是完成图像的压缩，使数字电视的信号传输量由9 9 5 m b i f f s 减少为 2 0 3 0 m b i 以。 与视频编解码相同，音频编解码主要功能是完成声音信息的压缩。声音信号数字化后，信息量比 模拟传输状态大得多，因而数字电视的声音不能象模拟电视的卢音那样直接传输，而是要多一道压缩 编码- t 序。 国际上对数字图像编码曾制订了三种标准，分别是主要用于电视会议的h 2 6 1 、主要用于静止图 像的j p m g 标准和主要用于连续图像的m p e g 标准。 在h d t v 视频压缩编解码标准方面，美国、欧洲和日本设有分歧，都采用m p e g 2 标准。m p e g 压缩后的信息可以供计算机处理，也可以在现有和将来的电视厂播频道中进行分配。在音频编码方面， 欧洲、日本采用了m p e g 2 标准；美国采纳了杜比( d o l b y ) 公司的a c 3 方案，m p e g 2 为备用方案。 但随着技术的进步，1 9 9 4 年完成的m p e g 2 随着技术的进步现在显得越来越落后，国际上正在考虑 用m p e g - 4a v c 来代替目前的m p e g - 2 。 中国方面，中国的数字音视频编解码标准工作组制定了面向数字电视和高清激光视盘播放机的 a v s 标准。该标准据称具有自主知识产权，与m p e g 2 标准完全兼容，也可以兼容m p e g - 4a v c h 2 6 4 国际标准基本层，其压缩水平据称可达到m p e g 2 标准的2 3 倍，而与m p e g - 4a v c 相比，a v s 更 加简洁的设计降低了芯片实现的复杂度。 2 1 3 数字电视传输流的控制信息 数字电视传输流定义了节目特定信息( p r o g r a ms p e c i f i ci n f o r m a t i o n ) 。p s i 用来描述传送流的组 成结构，在m p e g 2 系统中担任极其重要的角色，在多路复用中尤为重要的是p a t 表和p m t 表。 p a t 表给出了一路m p e g i i 码流中有多少套节目，以及它与p m t 表p i d 之间的对应关系；p m t 表 给出了一套节目的具体组成情况与其视频、音频等p i d 对应关系。p s i 提供了使接收机能够自动配置 的信息，用于对复用流中的不同节目流进行解复用和解码。p s i 信息由以下几种类型表组成：节目关 联表、节目映射表、条件访问表和网络信息表。 节目关联表( p r o g r a ma s s o c i a t i o nt a b l e ) ：p a t 表用m p e g 指定的p i d ( o o ) 标明，通常用p i d = 0 表示。它的主要作用是针对复用的每一路传输流，提供传输流中包含哪些节目、节目的编号以及对 应节目的节目映射表( p m t ) 的位置，即p m t 的倦包的包标识符( p i d ) 的值，同时还提供网络信 息表( n i t ) 的位置，即n i t 的t s 包的包标识符( p i d ) 的值。【9 】 p i 肛3 3 图2 3 节目关联表和节目映射表的结构及关系示意图 l o 第二章数字电视广播传输流读取与分析 节目映射表( p m tp r o g r a mm a pt a b l e ) ：节目映射表指明该节目包含的内容，即该节目由哪些流 组成，这些流的类型( 音频、视频、数据) ，以及组成该节目的流的位置，即对应的t s 包的p i e ) 值， 每路节目的节目时钟参考( p c r ) 字段的位置。 节目关联表指向每一个节目映射表，节目映射表再指向节目中的各个基本媒体流。它们之间是一 个二级映射的关系。图2 3 显示了这种关系。 条件访问表( c a tc o n d i t i o n a la c c e s st a b l e ) ：c a t 表用m p e g 指定的p i d ( 0 1 ) 标明，通常用 p i d = i 表示。它提供了在复用流中条件接收系统的有关信息，指定c a 系统与它们相廊的授权管理信 息( e m m ) 之间的联系，指定e m m 的p i d ，以及相关的参数。 网络信息表( n e t w o r ki n f o r m a t i o nt a b l e ) ：网络信息表提供关于多组传输流和传输网络相关的信 息，其中包含传输流描述符、通道频率、卫星发射器号码、调制特性等信息。 p 灯表p i d 0 j n i t 表p d i 和 - 团函一圜侣一圜刨匦! = 】刨u 倒 1 2 2 - jg0 3 3 j 图2 4 各种节目特定信息的相互关系 这些表包含了对于解复用和展现节目所必要的也是足够的信息。其中节目映射表规定了一个节目 中基本流和节目索引( p i d ) 的对应关系以及一些相关信息，同时还指出了携带每一节目参考时钟信 息( p r o g r a mc l o c kr e f e r e n c e ) 的传输流包的p i d 。如果使用加扰，则将会出现条件访问表。网络信 息表是可选的，它描述了传递该传输流的网络的各项参数。 p s i 指定了如何从一个携带多个节目的传送流中正确找到特定的节目，当接收机要接收某一个指 定节目时，它首先从节目关联表中取得这个节目的节目映射表的p i d 值，然后从t s 中找出与此p i d 值相对应的节目映射表，从这个节目映射表中获得构成这个节目的基本码流的p i d 值，根据这个p i d 值滤出相应的视频、音频和数据等基本码流，解码后复原为原始信号，删除含有其余p i d 的传送包。 要保证传送流能正常接收，在该流中至少有一个完整有效的p a t 。由于p s i 数据的完整性十分重 要，因此在每个p s i 段中均需要加校验码。 这些表的详细介绍参见2 2 节。 2 1 4 数字电视的复用系统 数字电视的复用系统是数字电视的关键部分之一。从发送端信息的流向来看。它将视频、音频、 辅助数据等编码器送来的数据比特流，经处理复合成单路串行的比特流，送给信道编码及调制。接受 端与此过程正好相反。p 1 东南 学碗十学位论立 对多个传输流进行复用的意义在于复用后的传输流只占用一个物理的传输信道，传输流中的每个 节目所占用的是传输流提供的虚拟信道。在解码器端，只需要一套固定的接收设备，对不同节目的选 择只是在传输流中选择不同的原始码流这大大简化了接收机的实现节省了成本，提高了灵活性， 而且擞据该标准定义，解码器的系统时钟与调制解调器的时钟是完全独立的，这使得在实现这两个子 系统彼此功能时是完全分开的，因此接口变得很简单。 图2 5 数字电视传输流的复用原理图 m p e g - 2 系统夏用町分为两个层次：节日级复刚和系统级复用。怛目级复用指从各基本媒体流到 单路节日传输流( s i n g l e p r o g r a m t r a m p o as t r