（信号与信息处理专业论文）大区域图像修补与图像特技制作研究.pdf

中文摘要 中文摘要 摘要：数字图像修复是填充图像内指定的破损区域的处理过程，是当前计算机图 形学、计算机视觉和图像处理的研究热点领域之一。该项技术在文物保护、影视 特技制作、老照片的修复、图像中文本的去除、障碍物的去除以及视频错误隐藏 等方面，有着很高的应用价值。目前，图像修复的基本方法主要有两大类：基于 纹理合成的方法和基于偏微分方程的方法。本论文实现了基于径向基函数的图像 修复算法。针对大尺寸区域的修补问题，对基于样例的图像修复算法进行改进， 最后，结合它的相关应用搭建了一个图像特技制作系统。 在算法方面，我们发现，现有的基于样本块纹理合成的数字图像修复技术在全 局式搜索样本匹配块时容易选择错误的匹配块，导致繁衍错误信息使得修复结果 不理想。本论文在原算法的基础上使用了局部搜索、优先权改进及g r a p hc u t 方法 来改善算法效果。 ( 1 ) 基于图像分割的局部块搜索策略是本文的创新点之一，我们制定了一种 新的局部搜索策略，根据当前填充块的已知像素所属块类别确定搜索范围，有效 减少全局搜索所带来的错误匹配块现象。 ( 2 ) 为保证图像的结构部分先被填充，解决高纹理区域向低纹理区域的扩张 的问题，对优先权计算公式进行讨论和推导，对于优先权的改进是为了更好地指 导以上新的搜索策略。 ( 3 ) 直接的复制会使填充部分与原有的部分产生视觉上不连续，通过g r a p h c u t 求最佳缝合线，使修补的块在视觉上更加自然过渡。 实验结果表明，改进后的算法可以有效的修复各种不同的破损情况尤其是具有 复杂背景的较大区域填充，是一种更健壮、视觉效果更理想的修复算法。 在系统实现方面，本文将抠像技术应用到目标物的提取过程中，然后使用大面 积图像修补生成新的背景，实现了自动提取和修复图像区域。结合实验室已有工 作，我们搭建了一个面向一般用户的数字图像特效制作系统，该系统包含目标提 取、图像修补、图像合成等功能，保证了处理的连贯性和易操作性。 关键词：图像修复纹理合成目标物提取图像合成特技制作 分类号： a bs t r a c t a b s t r a c t ：d i g i t a li m a g ei n p a i n t i n gm a i n l ya i m sa tf i l l i n gi nm i s s i n gp i x e l si na n u n k n o w nr e g i o no fa ni m a g ei nav i s u a l l yp l a u s i b l ew a y a n di ti sa l s oo n eo ft h e i m p o r t a n tr e s e a r c hf i e l d si nc o m p u t e rg r a p h i c s ，c o m p u t e rv i s i o na n di m a g ep r o e e s s i n g c u r r e n t l y , d i g i t a li n p a i n t i n gt e c h n i q u e sh a v e f o u n db r o a da p p l i c a t i o n si ni m a g e p r o c e s s i n g ，v i s i o na n a l y s i s ，d i 百t a lr e s t o r a t i o no fa n c i e n tp a i n t i n g sf o rc o n s e r v a t i o n p u r p o s e s ，t e x t r e m o v a la n do b j e c t sr e m o v a li ni m a g e sf o r s p e c i a le f f e c t s ， r e s t o r a t i o no fo l dp h o t o g r a p h so rf i l m sw i t hs c r a t c h e so rm i s s i n gp a t c h e s ，d i s o c e l u s i o n i nc o m p u t e rv i s i o n , e r r o r sc o n c e a li nv i d e o s ，a n ds oo n t h ep r i m a r ym e t h o d so fi m a g e i n p a i n t i n gi n c l u d e t e x t u r es y n t h e s i s a l g o r i t h m sa n dt h ea l g o r i t h m sb a s e do np a r t i a l d i f f e r e n t i a le q u a t i o n s ( p d e s ) t h i st h e s i sf u l f i l l e dt h ei m a g ei n p a i n t i n ga l g o r i t h m b a s e d0 1 1r a d i a lb a s i sf u n c t i o n s o nt h eb a s i so fe x a m p l a r - b a s e di n p a i n t i n g , t h i st h e s i s c a r r i e so u ts o m ei m p r o v e m e n t st oa c h i e v et h el a r g ea r e af i l l i n g i nt h ee n d ，w e e s t a b l i s h e das p e c i a le f f e c t sp r o d u c i n gs y s t e mb yu s i n gi t sr e l a t i v ea p p l i c a t i o n s i nt h ec o n c e p to fa l g o r i t h m ，w ef o u n dt h a tt h ee x e m p l a r - b a s e di n p a i n t i n gm e t h o d s e a r c h i n gt h es o u r c ep a t c hg l o b a l l ye a s i l yl e a dt os o m em a t c h i n ge r r o r s ，a n ds u c he r r o r s w o u l da c c u m u l a t ea n dp r o p a g a t ei n t oo t h e ra r e a sq u i c k l y , e v e nm a k i n gt h er e s u l t s c o m p l e t e l yu n a c c e p t a b l e i nt h i sp a p e rw eu s el o c a lp a r ts e a r c h i n g ，p r i o r i t yi m p r o v i n g , a n dg r a p hc u tm e t h o dw h i c ha r ec o m i n gf r o mt h eo r i g i n a la l g o r i t h mt os o l v et h e p r o b l e m st h a tw o u l do c c u rw h e nw ea r ed e a l i n gw i ml a r g ea r e a l sf i l l i n g ( 1 ) o n eo ft h ei n n o v a t i o n so ft h i sp a p e ri st h el o c a lp a r t i t i o ns e a r c h i n gs t r a t e g y ，w e m a d ean e wl o c a ls e a r c h i n gs t r a t e g y , w h i c hc a ni d e n t i f yt h e s e a r c ha r e a a c c o r d i n gt ot h ep r o p e r t yo ft h ek n o w np i x e l st h a ta r eb e l o n g e dt ot h ec u r r e n t l y f i l l i n ga r e a ，s oa st or e d u c et h ef a l s em a t c h i n gw h i c ha r eb r o u g h tb yt h eg l o b a l s e a r c h i n ge f f e c t i v e l y ( 2 )i no r d e rt og u a r a n t e et h a tt h es t r u c t u r ec o m p o n e n to ft h ei m a g ec a nb ef i l l e df i r s t a n dr e s o l v et h ep r o b l e mo fe x p a n d i n gf r o mt h eh i g ht e x t u r ea r e at ot h el o w t e x t u r ea r e a ，w ed i s c u s sa n di n f e rt h ef o r m u l ao ft h ep r i o r i t y t h ei m p r o v e m e n t o ft h ef o r m u l ao ft h ep r i o r i t yi sf o rab e t t e rg u i d a n c et ot h en e ws e a r c h i n g s t r a t e g y ( 3 ) c o p y i n gp i x e l sd i r e c t l yw i l lc a u s eav i s u a li n c o n s i s t e n c yb e t w e e nt h eo r i g i n a l p a r ta n dt h ef i l l i n gp a r t u s i n gg r a p hc u t ，w ec a nc a l c u l a t et h em o s to p t i m i z e d v l l 北京交通大学硕+ 学位论文 s e w i n gl i n g ，w h i c hw i l lm a k et h et r a n s i t i o no ft h ef i x i n gb l o c k sl o o k sm o r e n a t u r a lo nv i s u a l e x p e r i m e n t a lr e s u l t ss h o wt h a t t h i s i m p r o v e dm e t h o dc a ne f f i c i e n t l yh a n d l e d i f f e r e n tc a s e s ，e s p e c i a l l yt h el a r g er e g i o n si nc o m p l e xb a c k g r o u n d i nt h ec o n c e p to fs y s t e mi m p l e m e n t a t i o n ，w ea p p l yi m a g ec u t t i n gm e t h o dd u r i n g o b j e c te x t r a c t i o np r o c e s s ，t h e ng e n e r a t ean e wb a c k g r o u n db yu s i n gl a r g ea r e ai m a g e i n p a i n t i n gm e t h o dt oa c h i e v et h eg o a lo fr e c o g n i z i n ga n df i l l i n ga na r e ao fa ni m a g e a u t o m a t i c a l l y o nt h eb a s i so fp r e v i o u sw o r ki n o u rl a b ，w ep r e s e n tad i g i t a li m a g e s p e c i a le f f e c tp r o d u c t i o ns y s t e mw h i c hi sd e s i g n e df o ro r d i n a r yu s e r s t h i ss y s t e m c o n t a i n st h ef u n c t i o n so fo b j e c te x t r a c t i o n ，i m a g ef i x i n ga n di m a g es y n t h e s i se t c e x p e r i m e n ts h o w s t h es y s t e m su s a b i l i t ya n de f f i c i e n c y , a n di tc a ng i v eu ss a t i s f a c t o r y r e s u l t s k e y w o r d s ：i m a g ei n p a i n t i n g ，t e x t u r es y n t h e s i s ，o b j e c te x t r a c t i o n ，i m a g es y n t h e s i s ， s p e c i a le f f e c t sm a k i n g c i a s s n o ： 独创性声明 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名： 签字日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。 同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 毛芬蜘 导师躲磊纵v 签字日期： 年月日签字日期：年月日 致谢 本论文的工作是在我的导师苗振江教授的悉心指导下完成的，苗振江教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢两年来 苗老师对我的关心和指导。 苗振江教授悉心指导我们完成了实验室的科研工作，在学习上和生活上都给 予了我很大的关心和帮助，在此向苗老师表示衷心的谢意。 苗振江教授对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衷 心的感谢。 在实验室工作及撰写论文期间，唐振、伍燕萍等同学对我论文中的研究工作 给予了热情帮助，在此向他们表达我的感激之情。 另外也感谢家人，他们的理解和支持使我能够在学校专心完成我的学业。 绪论 绪论 由于i n t e r n e t 网络的诞生，扫描仪、数码相机等的出现，使得数字照片的数量 急剧增加，人们迫切希望有一种软件能自动改进他们的照片。去除图像的一部分， 自动填补这些区域，使观察者无法察觉图像曾经缺损或己被修复，将是广受欢迎 的一种工具。因此，数字图像修复技术，成为近年来国际上比较热门的研究课题。 在影片修复的领域中，自动的图像修描技术已经发挥了重要的作用。通过把 影片的连续帧转换成数字图像序列，便可以对它进行处理。对于要修复的一帧图 像，可让它与相邻的帧进行比较，并从相邻的帧中提取有用的信息，通过拷贝达 到修复影片中的划痕和污点。相比而言，静态的数字修描技术相对要更困难，也 更主观。因为这里没有来自邻近帧或其它来源的可用的信息，修复时只能依靠空 白区域周围的任何可见的细节性的东西，而且破损区域也需要修复人员通过人工 标记出来，图像的破损部分的自动识别难以实现。 本论文研究的是静态图像的修复技术。由于待修复图像和待修复区域的多样 性，导致了针对不同待修复图像和不同待修复区域的各种算法层出不穷，各种算 法的适用范围和修复效果也各有千秋。本文主要研究大尺寸的图像修复，并将其 与其它的图像处理技术相结合，扩展运用到图像特技的制作当中。 研究背景与意义 数字图像处理技术在图像特技制作中的应用 二十世纪六十年代以来，信息技术飞速发展，其中的数字图像处理技术更是 逐渐成为影视特技、电子游戏、互联网视频信息处理等技术中的一个重要组成部 分，越来越多计算机制作的图像被运用到了电影的制作当中。星球大战中翱翔 于星际的太空飞船、指环王三部曲中气势恢宏的攻城战、金刚中喜怒哀乐 等表情丰富的大猩猩等等引人入胜的电脑特技画面，其在视觉上带给观众的冲击 与震撼带给观众的感受是革命性的，数字视觉效果的魅力甚至已经大大超过了电 影故事的本身。几年前，数字视觉特效还仅仅是大型电影大片的专属，如今，制 作成本极大降低，已呈现出相当成熟的面貌【3 3 】。 抠像与图像合成技术是影视制作中必不可少的关键技术，广泛应用于媒体制 作中。简单来说，抠像是指把任意形状的前景物体从图像中的背景部分的包围中 北京交通大学硕士学位论文 抽取出来的一种技术，而图像合成，则是把抽取出来的前景物体和一幅新的背景 图像相结合，成为一幅新的图像。抠像和图像合成是一对互逆的图像处理操作。 抠像技术 在当今视觉特效的镜头创作当中，抠像技术已经成为应用最为广泛和频繁的 技术之一，抠像也称为“键控”，它的出现主要是在电影发展的早期，导演预想的 很多画面效果无法通过前期的拍摄直接完成。而且当时由于影视技术的局限，电 影后期制作还没有进入到数字化的制作时代，为了将两个不同环境内容联合在一 起，使观众相信那是在同一个环境下拍摄的，当时的电影工作者们使用了多种方 法，如在胶片上直接绘制遮罩，然后将胶片叠加拍摄。在胶片上绘制遮罩的过程， 这就是抠像技术早期的运用。 1 9 世纪5 0 年代以后，抠像技术经历了光学和数字两大发展阶段【3 4 】。2 0 世纪 8 0 年代，数字抠像方法逐渐取代了光学抠像方法。抠像的过程，主要就是通道的 提取。大多数情况下，抠像的目的就是提取前景的a l p h a 通道，然后将前景合成 在所需要的背景图像上，在实际应用中主要使用蓝绿屏技术。利用色度的区别， 去掉单色背景，保留前景。当前，数字抠像技术已经在各种应用中占据了主导地 位，主要分为蓝屏抠像和自然图像抠像。事实上，抠像在日常生活中也大有用途， 譬如把一个人的全身像抠取出来放到别的背景中，把单人照片进行抠像后与其他 人的照片合成双人照等等，都要用到这一步。 迄今为止，研究人员对蓝屏抠像的研究已经非常深入【3 5 】，而在自然图像抠图 中，当背景图像b 的颜色变化比较光滑时，研究人员已提出了各种各样有效的算法， 但对背景图像b 比较复杂的自然图像抠像的研究仍相对较少。k n o c k o u t 算法【3 6 】虽 然速度快，但算法不够鲁棒。由于r u z o nh ill m a n 和c h u a n g 3 7 。3 9 1 方法速度慢，因 此在图像颜色变化不够光滑时，它们的效果也不够好。基于感知颜色空间的自然 图像抠图算法速度快，虽然在光滑图像中的抠图效果好，但是它在复杂图像中的 抠图效果却不佳。局部泊松抠图算法虽可以对一些复杂的图像进行抠图，但是它 需要的人工交互较多。这种泊松抠图中的人工交互分为t r i m a p 构建、局部区域的 指定、用滤波器修改梯度场三个部分。其中最重要的部分是梯度场的修改，并且 局部抠图算法是建立在全局抠图算法之上的。当因图像太复杂而导致全局泊松抠 图的结果错误太多时，即使其人工交互再多，局部抠图算法也很难得到满意的结 果。 在日常生活中存在着大量的自然背景图像，这样图像在小块区域内的颜色变 化非常大。因此，找到一种能够高效处理这种图像的抠像算法显得非常有必要。 图像合成 图像合成主要指把两个或两个以上的视频或图像信号通过加工处理，叠加或 2 绪论 组合在一起，创作出新的图像效果；对原始素材的深度加工处理，使之产生新的 艺术效果。若将传统的影视制作比作以时间为轴的叙述，图像合成则是于同一时 刻在空间的领域进行创作，在二维的电视画面中表现出空间的层次感，增强电视 画面的表现力，使电视画面所传递的信息越来越丰富，形成了一套独特的创作手 法。合成技术逐渐成为影视节目后期制作环节中一种越来越重要的一环【加】。 近几年内，图像合成技术在不断优化的同时也发生了质的飞跃。从能够完成 混和、键控等合成功能的模拟切换台，到如今特色各异的合成软件以及功能强大 的数字影视后期合成系统，合成的概念正在被逐步完善。数字图像合成技术得以 集成在各种不同类型的系统之中，成为了影视节目制作技术数字化发展进程中， 继非线性编辑、虚拟演播室技术之后的又一个亮点和焦点。 基于对图像内容进行处理的特效制作软件，目前受硬件开发平台和软件知识 产权的影响和制约，系统( 如架设在s g io n y x 工作站上的i n f e r n o ) 大多数都比较昂 贵，一般只有在影视制作行业中才会使用。随着生产生活的不断进步，人们对适 用于普通p c 机上的图像内容处理软件的呼声越来越高。p c 的优势是价格便宜， 而且升级比较快。因此，在p c 上研究的数字图像处理技术在图像特技制作领域的 发展前景十分可观。 图像修复技术的发展与应用前景 随着计算机技术的飞速发展，图像修复技术作为当前计算机图形学和计算机视 觉的一个研究热点，其发展在损坏相片修复、制作特技图像方面也得到了延伸。 数字图像i n p a i n t i n g 技术属于图像复原的研究领域，其目的就是研究和解决如 何更好地实现检测图像的受损部分，并根据受损图像周围的有效信息用图像修补 算法自动进行恢复。i n p a i n t i n g 一词起源于欧洲文艺复兴时期。当时的人们开始修 复中世纪的一些艺术品，是想通过填补一些裂缝来使中世纪的一些图画翻新，同 时保持了作品的整体效果。这样的工作就叫做“r e t o u c h i n g ( 润饰1 或者“i n p a i n t i n g ” ( 润饰或修描) 。当时主要是采用人工修复手段，完全依赖于人的经验和熟练技术， 是一种艺术性的工作，同时难度和工作量都很巨大，并且存在很大风险，一点很 小的失误有可能导致整个艺术品的报废，因此需要由富有经验的艺术馆藏人员来 处理。本论文中涉及到的图像处理都是指数字图像的处理。 一般说来，有很多因素都会引起数字图像上的局部信息缺损【1 1 ，如：对原本 就有划痕或有破损的图片进行数字扫描后得到的图像；为了某种特殊目的而移 走数字图像上的目标物体或文字后留下的信息空白区；在数字图像的获取、处 理、压缩、传输和解压缩过程中因信息丢失所留下的信息缺损区。虽然一些强大 3 北京交通人学硕士学位论文 的数字图像处理软件，例如p h o t o s h o p 等，也可以对数字图像进行专业的特效处理 和对受损图像进行修复处理，但却需要有经验的技术人员进行复杂的手工处理， 用户必须区分需要修复的区域，并仔细考虑要填充什么样的颜色和纹理【2 j 。这项工 作往往是重复枯燥的，无法达到“计算机智能”自动处理的目的。 数字修复理论最早由m b e r t a l m 提出【3 】。早期的i n p a i n t i n g 算法，其基本思 想是根据缺损区域周围的边缘信息估计等照度线方向，采用传播机制平滑地向前 扩散信息。该理论逐渐由早期对单幅图像进行修复，扩展到结合时间域信息对视 频进行修复。修复算法也由开始的结构化修复方法，发展到利用纹理信息进行纹 理结构同时修复的方法。此外，数字修复技术还从图像领域向图形领域延伸，衍 生出了对3 d 网格进行缺孔填补的技术。静态图像的裂纹修复、动态影像修复、摄 影中的红眼消除等等一系列应用体现了该技术的优势。在国外，i n p a i n t i n g 技术已 成为一个活跃的研究领域，国内也有学者开始关注。研究者们正在开发自动的图 像修复技术，用户只需简单地选择需修复的区域，计算机就会自动完成余下的工 作【2 1 。这样就能够显著地减少处理数字图像的时间和精力，降低成本。 今天，数字i n p a i n t i n g 技术在印前图像处理、文物图像恢复、影视特技制作、 虚拟现实、生物医学、障碍物去除( 如：视频图像中删除部分物体、文字、标题等) 等方面有着广泛的应用前景。 美术作品或老照片的修复【4 】：由于保存条件人为或其他种种原因，经常有 一些美术作品照片或影像等资料遭到破坏，这其中包括具有珍贵历史价值的宝贵 资料。对这些资料的恢复对于人类历史文明的保存有十分重要的价值。 去除图像中的目标：在一些对外公布的资料或者一些生活照中，因为各种 原因经常所要去除一些特殊的人物或景物。图中被人物遮盖住的部分涉及很多纹 理和结构，经过修复处理后我们发现背景很平滑，觉察不出修复的痕迹，这用一 般的图像处理软件很难实现。 去除图像中的文字：图像中的文字有时会对读者的阅读与欣赏带来障碍， 通过修复将文字移除可以消除这种障碍。 图像压缩和无线传输中图像丢失的复原：在图像传输中，由于网络或其他 原因传输过来的图像可能有残缺，数字图像修复技术可以修j 下这个问题。 高分辨率研究：一般情况下，当图像从低分辨率放大到高分辨率时会出现 严重的马赛克现象，图像修复技术不仅仅应用在修复这方面，它还可以用来提高 图像的分辨率。 因此，对数字图像i n p a i n t i n g 技术的研究和探索是一项既有理论意义又有实用 价值的课题。 4 l n p a i n t i a g 应月实例= ：r e m o v e v i s i b l e w a t e x m a r k l 6 l n p a i n t i n g 麻川实例三：t e x tr e m o v a l i n i m a g d ” 图1 - l 数字图像修复技术的应h 实制 f i gi - ja p p l i c a t i o n s o f i m a g t ：r 船t o r a t i o n 、一一圈一一圈 北京交通大学硕士学位论文 1 2 国内外研究现状 目前：根据待修复区域的大小和形状的不同，图像修复的方法可以分成两 个大的方向：基于非纹理结构的方法和基于纹理结构的方法【8 1 。 堕 r _ - 一一1 一一l 一 i 基于非纹理结构的图像修复；基于纹理结构的图像修复i 厂型茎r 壅立 图1 2 图像修复方法分类 f i g 1 - 2 c a t e g o r yo fi m a g er e s t o r a t i o nm e t h o d 1 2 1 基于非纹理结构的修复方法 2 0 0 0 年s i g g r a p h 大会上，b e n a l m i o 【3 】首先提出了基于偏微分方程的数字图像 修补算法( i m a g ei n p a i n t i n g ) ，算法沿等照度线的方向将修补区域周围的信息迭代 到修补区域内，产生修补信息。等照度线的方向可以通过计算修补的轮廓线上的 每一个点的离散梯度向量( 表示空间最大变化的方向) ，并将其旋转9 0 度得到，这 样可以在迭代的过程中，有效的保持边界，通过二维的拉普拉斯算子局部估计色 彩平滑的变化，也是沿等照度线方向迭代的；每若干步迭代之后，算法进行一个 反复扩散的过程，以保持被修补区域的平滑。各向异性的扩散有利于保持穿过修 补区域的边界。本质上，它是一种基于偏微分方程( p a r t i a ld i f f e r e n t i a le q u a t i o n ，p d e ) 的i n p a i n t i n g 算法，其典型的方法包括b s c b ( b e r t a l m i o s a p i r o c a s e l l e s b a l le s t e r ) 模型【3 】用三阶p d e 来模拟平滑传输过程及c h a r t s h e n 9 】提出的用三阶p d e 来模拟 基于曲率驱动扩散的模型( c u r v a t u r ed r i v e nd i f f u s i o n s ，c d d ) 等。在这类方法中， 6 绪论 还有一种是基于几何图像模型的变分修补技术。该类算法认为修补一幅缺损图片 主要依赖于以下两个因素：如何观察并读懂图片的现存部分，也就是如何建立 图像的数据模型( d a t am o d e l ) ；原始图片i 属于哪类图像，其用数学语言表达， 也就是如何获得图像的先验模型( i m a g ep r i o rm o d e l ) ，即通过建立图像的先验模型 和数据模型，将修补问题转化为一个泛函求极值的变分问题。c h a n 等提出了整体 变分( t o t a lv a r i a t i o n , t v ) 模型【n 1 2 】，t v 模型使用欧拉拉格朗日方程并且在修补区 域内沿等照度线方向采用各向异性的扩散。这个模型在修补小区域以及去噪方面 有很好的效果，但是对于破损边界常常不能很好的修补。后来，c h a n 和s h e n 等将 用于图像分割的m u mf o r d s h a h 能量模型应用于图像修复上，使用了活动轮廓和水 平集的概念，提出了一种基于分割的图像修复方法。m u m 仍r d s h “1 3 】模型与t v 模型一样在处理较大尺度图像修复方面，都不能很好地实现视觉心理学中的连通 性原则。针对这一问题，e s e d o g l u 等提出了m u mf o r d s h a h - e u l e r 1 4 】图像修复模型。 o l i v c i r a 7 1 利用了高斯卷集核对图像进行滤波，能快速地修复破损区域，但该算法 仅考虑了破损区域边缘一周的图像颜色值。 国内方面，浙江大学c a d & c g 国家重点实验室的周廷方【1 5 , 1 6 】等提出了基于径 向基函数的图像修复方法，图像的颜色值看作规则采样点上的高度场，把二维图 像修复问题转化为三维离散点的重建问题。邵肖伟【1 7 1 等人对t v 模型进行改进， 提出一种自适应的图像修复方法。冯志林【i s , 1 9 等将m u mf o r d - s h a h 能量模型应用到 提花织物图像的修复问题上。张红英f 2 0 】等证明了p - l a pl a c e 算子的扩散性能优于 传统t v 模型，并利用p l a pl a c e 算子的非线性各向异性扩散的性能来填充受损区 域。虽然这类基于偏微分方程的方法可以很好地修复破损区域较小的图像，但是 仍存在较大的缺点：对于大面积缺损图像特别是纹理图像的修复则会产生模糊现 象，不能修复破损区域的纹理信息，因此很难与周围的图像信息保持一致。 1 2 2 基于纹理结构的修复方法 目前多数的静态图像和视频的修复过程，尤其涉及到尺度较大的受损区域的 修复工作，在很大程度上都是借鉴了纹理合成的方法和思路。这类修复算法统称 为基于纹理合成的修复算法。目前，这一类技术也包含两种方法：一种是基于图 像分解的修复技术，其主要思想是将图像分解为结构部分和纹理部分，结构部分 用修补算法修补，纹理部分用纹理合成方法填充。近来，对于图像分解己提出了 几种先进的技术【2 1 五3 1 。b e r t a l m i om 等【矧利用v e s el 和0 s h e rs 建立的模型【2 l 】 来进行分解，首先用整体变分最小化将图像的结构部分提取出来，然后用一个震 动函数来建模纹理或噪声部分。把图像分解成这两个部分以后，用b s c b 模型来修 7 北京交通人学硕十学位论文 补结构部分，用非参数采样纹理合成技术【2 5 】来填充纹理部分，最后把这两部分修 补的结果叠加起来，就是最终的修补图像。类似的算法还包括文献2 6 - 2 9 。另一种 是基于样本的纹理合成技术，此类算法也称为图像补全( i m a g ec o m p l e t i o n ) 。其 主要思想是，从待修补区域的边界上选取一个像素点，以该点为中心，根据图像 的纹理特征，选取大小合适的纹理块，然后在待修补区域的周围寻找与之最相近 的纹理匹配块，来替代该纹理块。近几年，许多学者广泛关注大目标去除这一研 究领域，取得了相当的进展。h a r r i s o n 3 0 】首先提出一种基于模板的算法，来去除 不想要的目标。但这种算法对噪声的鲁棒性能不好，常常使图像的线结构变得模 糊不清。后来，d r o r i 等【3 l j 提出一种基于碎片( f r a g m e n tb a s e d ) 的图像补全算法。 它利用已知图像区域的纹理信息被作为训练集去推导待修复图像区域内的信息， 并通过迭代在平滑估计值的引导下逐步更新其中的信息。该算法尽管取得了很好 的修复效果，但是，由于该算法是利用全搜索过程寻找相似碎片，速度十分慢。 处理一幅大小3 8 4 2 2 3 的图像大概需要8 3 m i n 到1 5 8 m i n ( 视修补区域的大小而 定) ，大大地影响了它的实用范围。c r i m i n i s i 3 2 】提出了基于i n p a i n t i n g 思想的样 本块纹理合成的修复技术，其实质是直接采用纹理合成的方法来去除照片中的大 物体，并得到了较好的效果。目前，国内有不少研究者对c r i m i n i s i 的算法进行 改进，使其在算法结果和速度上有所提高，但仍然没有一个针对各类图像的较全 面的算法，因此，为了使大面积的图像修补算法更好地被应用到实际当中，我们 需要在原有基础上做更多的改进研究。 1 3 本文的工作难点与创新点 近年来，国内外学者对于图像修复算法进行了大量研究，并取得了一系列的 成果。本文首先讨论了基于偏微分方程的修复理论，实现了基于径向基函数的图 像修补，接着介绍了基于纹理合成的修复理论。考虑到大区域图像修复在应用上 的优势，本论文以基于样例修补的目标移除方法为基础，针对算法不足提出了几 点改进。在实际应用方面，将图像修复算法和目标物提取、图像合成技术相结合， 不仅能够准确地提取并移除图像上不需要的物体，而且能够有效地修补图像受损 区域的纹理和结构。这几项功能很好地衔接到图像特技制作系统中，向一般性的 用户提供了一个具备操作性和实用性的图像特技制作平台。 基于图像处理的图像特技制作系统的难点在于： 基于样例的i n p a i n t i n g 算法改进：尽管有层出不穷的相关改进算法被提出， 但在改进时有两个问题容易出现和值得注意：一是在引入算法复杂度和得到结果 完善程度之间的平衡。当我们引入大量复杂的公式和编程模块时，若算法结果的 绪论 对比仅仅是在某一小类图像中有所改善或是结果对比不明显，那么实际的意义并 不大；二是根据原算法的结果来说，仅仅考虑对某一步环节或某个公式进行修改 并不完善，当我们提出的新算法包含几处改进时，要注意这几点改进结合到一起 时，对整个结果的影响( 如，是否只注意到效果使得运行速度大大降低等等) 。 自然环境下的复杂背景抠像：自然背景抠像是当前研究的热点，提高抠像 的准确性，较少交互的劳动强度，是自然背景抠像的两大目标。众多学者都在致 力于从单幅图像本身出发来解决抠像问题，都需要人为的加入一些约束信息，到 目前还没有一种全自动的自然背景抠像算法。我们的主要目的是探索抠像与合成 中的抠像问题，运用成熟的算法和模型，在保证抠像精度不低于已有的算法前提 下，以改进交互方式，减少人工在抠像处理中比重。 前景目标与新场景的无缝合成：为了得到逼真的特技制作效果，系统的合 成模块所要做的不仅仅是实现一个合成算法那么简单。无缝图像合成要考虑多方 面问题，主要实现三个一致，即光照一致、透视一致和几何一致。它们分别是指 合成图像的各部分需具有一致的光照、观察上的一致和几何形状上的匹配。 图像修复算法是本文研究的重点，无疑，目标物提取和合成功能模块的设计 也是系统应用的关键所在。本文的创新点有以下几点： 在算法的改进方面：( 1 ) 以图像分割算法为基础，制定了一种新的局部搜 索策略。首先将一幅图像分割为若干个纹理区域，然后根据当前填充块的已知像 素所属区域类别确定搜索范围，有效减少全局搜索所带来的错误匹配块现象( 2 ) 为 保证图像的结构部分先被填充，解决高纹理区域向低纹理区域的扩张的问题，对 优先权计算公式进行讨论和推导，采用一种与当前块已知像素所属区域类别数相 关的优先权计算方法，并且可以更改( 加强或减小) 数据项在优先权中的权重( 3 ) 利用图论中的g r a p hc u t 寻找最优路径，使修补的块在视觉上更加自然过渡。 在系统实现方面：将抠像技术应用到目标物的提取过程中，然后使用大面 积图像修补生成新的背景，实现了自动提取和修复图像区域。与图像合成相结合， 完成了一个简单的特技制作流程。在抠像过程中也用到 g r a p hc u t 算法。 1 4 论文的组织结构 本文一共分为六章，具体安排如下： 第一章绪论。介绍论文研究的背景及意义、当前国内外研究现状，以及本文 主要研究工作的难点和创新点。 第二章基于偏微分方程的图像修复理论。介绍了基于整体变分模型的修复、 基于m u m f o r d s h a h 模型的修复、基于径向基函数的修复三种方法，实现了基于径 9 北京交通人学硕士学位论文 向基函数的图像修复，给出修复示例与分析。本章的算法均适用于一般的小尺寸 图像缺损修复。 第三章基于纹理合成的图像修复理论。首先对在修复过程中所应考虑的图像 的纹理、结构特征进行介绍。接着，简要介绍了纹理合成技术，介绍了几种基于 纹理合成的修复算法，指出了各种算法的优缺点。通过对比说明基于样例的图像 修复算法在处理大尺寸区域时的优势，这种算法与纹理合成有何相似点、可借鉴 之处，以及有何本质上的区别。这一系列的理论基础为后面的章节做铺垫。 第四章基于样例的i n p a i n t i n g 算法改进。本章的开始对c r i m i n i s i 方法的不足 之处作了归纳，得出了改进的方向和思路。针对大尺寸区域的修补问题，在原算 法的基础上使用图像分割、优先权改进及g r a p hc u t 方法来改善算法效果，各小节 对三处改进分别做了详细介绍，同时，对融入了改进的新算法的流程做了概述。 基于图像分割的局部块搜索策略是本文的创新点之一。大量实验表明，该改进算 法能修补各类图像的缺损区域，且相对而言修补效果更佳。 第五章基于图像处理的图像特技制作系统。本文的另一创新点就是将抠像技 术应用在大面积图像修复之前，使用户对于目标区域的选择更自动化。本章首先 对系统的搭建思路和模块做了简介，然后介绍了目标物提取、大区域修补、图像 合成三个模块，内容包括模块的功能、界面设计、用户操作设计和主要算法说明。 最后，用日常生活中的图片给出示例，展示系统所能达到的有趣特效结果。 第六章总结与展望。根据改进算法和特技制作系统的设计两个方面，对本文 所做工作进行总结，并对未来需要深入研究的问题进行了展望。 l o 基于偏微分方程的图像修复理论 2 基于偏微分方程的图像修复理论 从( ( i m a g ei n p a i n t i n s 发表至今，研究人员已经提出了很多种图像修复算法模 型，这些模型的修复原理、所使用的数学方法、修复的方式以及算法适用对象范 围都有所不同。根据修复算法适用的不同图像类型可以分为：非纹理图像的修复 方法和纹理图像的修复方法。根据填充方式来看，可分为：基于点的修复和基于 块的修复。根据破损区域的大小和形状不同，算法又可分为：基于偏微分方程( p d e ) 的方法和基于纹理合成的方法【5 3 】。 偏微分方程( p a r t i a ld i f f e r e n t i a le q u a t i o n ，p d e ) 在图像处理领域的研究始于上 世纪六、七十年代，最早用于图像去噪方面【4 l 4 2 1 。到上世纪九十年代，偏微分方 程在图像处理理论上有了较大的突破，并开始结合其它数学工具，如形态学、仿 射几何、变分法、逼近论等，形成了比较完整的理论体系【4 3 删。基于p d e 的图像 处理方法具有良好的数学基础，深入的理论背景，算法稳定性较好。一些经典的 图像处理方法，如高斯滤波、中值滤波，以及形态学腐蚀、膨胀算法等都可以在 p d e 的框架下得到统一解释。 早期的图像修复技术多数都是基于p d e 的【4 5 】。该方法用于图像修复的主要的 优点是：它对待修复区域没有拓扑限制，而且插值由合适的p d e 数值格式自动的 完成。这就免去了进行边缘检测、t 形交汇( t - j u n c t i o n ) 检测和连接或者目标分割的 工作。但是要指出的是，因为p d e 模型中都隐含着图像满足某种正则化条件的假 设，所以它只适用于非纹理图像或者低纹理图像的修复【4 7 1 。 2 1 基于整体变分( t v ) 模型的图像修复方法 r u d i n 等【拍】将图像看成是一个分段平滑函数，并在有界变分空间上对图像建 模。由于所提出的全变分模型能够起到延长图像边缘的作用，从而非