（计算机科学与技术专业论文）图像与视频的实时抽象化.pdf

浙江大学博士学位论文摘要 摘要 抽象化艺术反映了人类丰富的想象力，在人类文明发展过程中占有举足轻重 的地位。如今，卡通效果已经被广泛应用于电影、电视、游戏、网络、广告、科 普示图以及医学成像等诸多领域。中国拥有世界上最大的动漫产业消费市场以及 在线聊天群体，被抽象化之后的可视信息往往能够更加吸引入眼的注意力，是艺 术家和观看者之间信息交流的桥梁。图像和视频抽象化是把真实的照片或录制好 的视频转换成非真实感效果的重要技术，因而对这方面的研究不仅具有重要的理 论意义，而且还具有现实的应用价值。本文主要研究图像和视频抽象化中的若干 关键技术，具体包括基于颜色的图像风格迁移、基于特征流场的流线感抽象化、 基于形状简化的抽象化、基于视觉感知的非均匀抽象化以及基于可编程图形硬件 的加速优化算法。 1 我们提出了一种实时的基于颜色的图像风格迁移方法。首先，我们将输 入图像从r g b 颜色空间转换到o r g b 颜色空间。该o r g b 颜色空间能够充分地分离 出彼此独立的白一黑、红一绿以及黄一蓝等三个颜色通道。然后，我们利用基于统 计分析的颜色校正技术对两个彩色通道进行迁移。同时，我们运用直方图匹配算 法对亮度通道进行迁移。我们还可以对颜色迁移后的图像进行抽象化以增强视觉 效果。最后，我们把o r g b 颜色空间转换回r g b 空间得到最终的处理图片。当将 一幅目标图像的颜色风格迁移到一段视频时，由于目标图像的颜色统计值以及亮 度直方图都是不变的，我们只需要对相关信息计算一次来减少处理时间。 2 我们提出了一个实时的基于特征流场的流线感图像和视频抽象化框架。 首先，我们将输入图像从r g b 颜色空间转换到c i el a b 颜色空间或o r g b 颜色空 间并只对其中的亮度通道进行后续操作。接下来，我们用迭代双边滤波的方法逐 渐构造出一个光滑、连贯且特征保持的边缘切向流场。利用这个特征流场，低对 比度区域用基于流场的双边滤波器进行平滑操作，而高对比度区域用基于流场的 高斯差分滤波器进行进一步加深。然后我们再将抽象化后的图像用软量子化方法 浙江大学博士学位论文摘要 使其进一步卡通化并改进其帧连续性。最后，我们将结果转换回r g b 颜色空间得 到最终抽象化图像。 3 我们采用一个更加准确的视觉感知模型，并提出一个实时的非均匀图像 和视频抽象化框架。为了同时减少空间和时间的视频噪音，我们将时间视为第三 维，对视频应用一次三维的双边滤波。然后我们导出一张光滑的兴趣区域函数图， 该兴趣区域函数图基于一个视觉注意力模型，能很好地反应人眼的注意力。最后， 我们再利用这张兴趣区域函数图来指导自动的非均匀抽象化。 4 我们提出了一个实时的基于形状简化的图像抽象化框架，该框架能同步 地简化图像中的形状和颜色信息。我们迭代地对边缘切向曲线进行双边滤波以得 到一个光滑连贯的特征流场。该特征流场指示了输入图像的显著特征方向。然后 我们用受特征流场约束的平均曲率流滤波器来迭代地简化和收缩图像的整体形 状。最后，我们用s h o c k 滤波器以保护重要的边界信息。为了直观地控制抽象化 的程度，我们可以迭代地和渐进地应用上述滤波过程。由于颜色信息包括红、绿、 蓝三个彩色通道，为了得到较好的颜色简化效果，我们对该三个彩色通道独立地 进行抽象化处理。 5 本文所提出的各图像和视频抽象化算法都是专门为图形硬件的并行处理 特性而设计的。因此，我们的方法具有高度的可并行性，能够在可编程图形硬件 上实时实现。另外，本文的抽象化系统无需任何人工交互，初级用户也能方便地 制作出各种生动的卡通效果。最后，自动且实时的抽象化技术使我们还能方便地 对在线视频或图像进行实时处理。 关键词：非真实感绘制，图像抽象化，线条绘制，双边滤波，特征流场，视觉注 意力图，颜色迁移，图形处理单元 本文工作得到了国家8 6 3 基金( 编号：2 0 0 6 a a 0 1 2 3 1 4 ) 、国家自然科学基金( 编号：6 0 5 7 3 1 5 3 ) 以及浙江 省科技计划项目( 编号：2 0 0 8 c 2 4 0 0 8 ) 的支持。 a b s t r a c t t h ea r to fa b s t r a c t i o nr e f l e c t st h ea b u n d a n ti m a g i n a t i o no fh u m a nb e i n g sa n d p l a y sa ni m p o r t a n tr o l ei nt h ed e v e l o p m e n to fh u m a n c i v i l i z a t i o n n o w a d a y s ，c a r t o o n e f f e c t sh a v eb e e nw i d e l ya p p l i e di nav a r i e t yo fa r e a si n c l u d i n gm o v i e ，t e l e v i s i o n ， g a m e ，n e t w o r k , a d v e r t i s e m e n t ，s c i e n t i f i ci l l u s t r a t i o n ，a n dm e d i c a li m a g i n g c h i n ah a s t h eb i g g e s tc o n s u m e rm a r k e ti nt h ea n i m a t i o ni n d u s t r ya n dt h eb i g g e s to n l i n ec h a t t i n g g r o u p t h es i m p l i f i e do re v e ne x a g g e r a t ev i s u a li n f o r m a t i o na f t e ra b s t r a c t i o nc a no f t e n i m p r o v et h eh u m a np e r c e p t i o na n dp l a y s 嬲ac o m m u n i c a t i o nb r i d g eb e t w e e na r t i s t s a n dv i e w e r s t h ei m a g ea n dv i d e oa b s t r a c t i o ni sa ni m p o r t a n t t e c h n i q u et oc o n v e r tr e a l p h o t o g r a p h so rr e c o r d e dv i d e o st on o n - p h o t o r e a l i s t i cs t y l e s c o n s e q u e n t l yt h er e s e a r c h o ni th a sn o to n l yt h et h e o r e t i c a ls i g n i f i c a n c eb u ta l s ot h er e a l i s t i ca p p l i c a t i o nv a l u e t h i sp a p e rm a i n l yf o c u s e so ns o m ek e yi s s u e so nt h e i m a g ea n dv i d e oa b s t r a c t i o n ， s p e c i f i c a l l y , c o l o r - b a s e dp h o t os t y l et r a n s f e r , f e a t u r ef l o w b a s e di m a g ea n dv i d e o a b s t r a c t i o n ，s h a p e 。s i m p l i f y i n gi m a g ea b s t r a c t i o n ，p e r c e p t i o n b a s e dp r o g r e s s i v ei m a g e a n dv i d e oa b s t r a c t i o n ，a n dg p u - b a s e d o p t i m i z a t i o na l g o r i t h m s 1 w ep r o p o s ear e a l - t i m ec o l o r - b a s e dp h o t os t y l et r a n s f e rm e t h o d w ef i r s t t r a n s f o r mt h ei n p u ti m a g ef r o mr g bc o l o rs p a c et oo r g bc o l o rs p a c e t h eo r g b s u p p o r t si n d e p e n d e n tm a n i p u l a t i o no ft h el u m i n a n c e ，p u r ey e l l o w b l u e ，a n dp u r e r e d g r e e nc o l o rc h a n n e l s t h e nt h es t a t i s t i c a lc o l o rc o r r e c t i o nt e c h n i q u ei sp e r f o r m e d o nt h et w oc h r o m i n a n c ec h a n n e l s w ea l s o a p p l yt h eh i s t o g r a mm a t c h i n go nt h e l u m i n a n c ec h a n n e l w eo p t i o n a l l ya d da na b s t r a c t i o ne f f e c t0 ni tt oi m p r o v et h ev i s u a l p e r c e p t i o n a tl a s t , t h er e s u l ti m a g ei sp r o d u c e db yt r a n s f o r m i n gt h ei m a g eb a c kt ot h e r g bc o l o rs p a c e w h e nt r a n s f e r r i n ga t a r g e ti m a g e ss t y l et oav i d e o ，s i n c et h et a r g e t i m a g ei su n c h a n g e d ，w ec a nc o m p u t ei t ss t a t i s t i c a li n f o r m a t i o no n l yo n c et or e d u c et h e p r o c e s s i n gt i m e 2 w ep r e s e n tar e a l - t i m ef e a t u r ef l o w b a s e d i m a g ea n dv i d e oa b s t r a c t i o n f r a m e w o r k f i r s tt h ei n p u ti m a g ei sc o n v e r t e df r o mr g bc o l o rs p a c et oc i e l a bo r o r g bc o l o r s p a c e n e x tw ei t e r a t i v e l yc o n s t r u c tas m o o t h ，c o h e r e n t a n d 浙江大学博士学垡论文 一塑竖 f e a t u r e - p r e s e r v e de d g et a n g e n tf l o wf i e l du s i n g ab i l a t e r a lf i l t e r u s i n gt h i sf e a t u r ef l o w , i o wc o n t r a s tr e g i o n sa r es m o o t h e dw i t ht h ef l o w b a s e db i l a t e r a lf i l t e r , w h i l eh i g h c o n t r a s tr e g i o n sa r ef u r t h e rs t r e n g t h e n e dw i t ht h ef l o w - b a s e dd i f f e r e n c e 。o f - g a u s s i a n f l i t e r t h e nt h es o f tl u m i n a n c eq u a n t i z a t i o n i s a d o p t e dt o f u r t h e re n h a n c et h e c a l t o o n 1 i k ee f f e c tw i t hg o o dt e m p o r a lc o h e r e n c e l a s t l y , t h eo u t p u ti m a g e i sg e n e r a t e d b yc o n v e r t i n gt h er e s u l tb a c kt or g b s p a c e 3 w ea d o p tam o r ee l a b o r a t e dv i s u a lp e r c e p t i o nm o d e la n di n t r o d u c ea r e a l - t i m e p r o g r e s s i v ei m a g ea n dv i d e oa b s t r a c t i o nf r a m e w o r k i no r d e rt or e d u c eb o t hs p a t i a l a n dt e m p o r a lv i d e on o i s e s ，w ev i e wt i m e 舔t h et h i r dd i m e n s i o na n da p p l ya3 d b i l a t e r a lf i l t e ro nt h ei n p u tv i d e of i r s t ，t h e nw ed e r i v eas m o o t hr e g i o n s 。o f - i n t e r e s t f u n c t i o nb a s e do nav i s u a ls a l i e n c ym o d e l ，w h i c he f f e c t i v e l yd e s c r i b e st h eh u m a n a t t e n t i o n l a s t l y , w eu s et h er e g i o n s - o f - i n t e r e s tf u n c t i o n t oc o n t r o lo u ra u t o m a t i c p r o g r e s s i v ei m a g e a n dv i d e oa b s t r a c t i o n 4 w ed e s i g nar e a l t i m ef r a m e w o r kf o rs h a p e s i m p l i f y i n gi m a g ea b s t r a c t i o n ， w h i c hs i m u l t a n e o u s l ys i m p l i f i e sb o t ht h es h a p ea n dc o l o ri n f o r m a t i o n i nt h ei n p u t i m a g e w ei t e r a t i v e l ya p p l yt h eb i l a t e r a l f i l t e ro ne d g et a n g e n tc h iv e st oo b t a i na s m o o t ha n dc o h e r e n tf e a t u r ef l o wf i e l d ，w h i c hi n d i c a t e st h es a l i e n tf e a t u r ed i r e c t i o n so f t h ei m a g e t h e nw ei t e r a t i v e l ys i m p l i f ya n ds h r i n kt h ew h o l es h a p eo f t h ei m a g eu s i n g t h ef e a ：t u r e n o w - c o n s t r a i n e dm e a nc u r v a t u r ef l o w f i n a l l y , w ep r o t e c ti m p o r t a n ts h a p e e d 空e sw i t ht h es h o c kf i l t e r i no r d e r t oi n t u i t i v e l yc o n t r o lt h ea b s t r a c t i o nl e v e l ，w ec a n i t e r a t i v e l ya n dp r o g r e s s i v e l ya p p l y t h ea b o v ef i l t e r i n gp r o c e s s s i n c et h ec o l o ri n c l u d e s r e d g r e e n a n db l u ec h a n n e l s ，t oo b t a i nb e t t e rc o l o rs i m p l i f y i n ge f f e c t s ，w ep e r f o r m t h e a b s t r a c t i o n0 1 1t h e s et h r e ec h r o m i n a n c ec h a n n e l si n d e p e n d e n t l y 5 a l lt h ea b o v ei m a g ea n dv i d e oa b s t r a c t i o na l g o r i t h m sp r o p o s e da r ed e s i g n e d t o s u i tf o rt h ep a r a l l e lp r o c e s s i n gc h a r a c t e r i s t i co fg r a p h i c sh a r d w a r e t h e r e f o r e ，o u r m e t h o d sa r eh i g h l yp a r a l l e l ，e n a b l i n gr e a l - t i m ei m p l e m e n t a t i o no nt h ep r o g r a m m a b i e g r a p h i c sp r o c e s s i n gu n i t a d d i t i o n a l l y , o u r a b s t r a c t i o ns y s t e m sd on o tr e q m r ca n yu s e r i n t e r a c t i o na n de v e nn a f v eu s e r sc a l le a s i l yg e n e r a t ev a r i o u sv i v i dc a r t o o ne f f e c t s a t l a s t t h ea u t o m a “ca n dr e a l t i m ea b s t r a c t i o nt e c h n i q u e sm a k et h e mc o n v e n i e n t t o p r o c e s so n l i n ei m a g e sa n dv i d e o s 浙江大学博士学位论文 k e y w o r d s ：n o n p h o t o r e a l i s t i cr e n d e r i n g ，i m a g ea b s t r a c t i o n ，l i n ed r a w i n g ，b i l a t e r a l f i l t e r , f e a t u r ef l o w , s a l i e n c ym a p ，c o l o rt r a n s f e r , g r a p h i c sp r o c e s s i n gu n i t t h i sw o r kw 罄s u p p o r t e db yt h ec h i n a8 6 3p r o g r a m ( g r a n tn o 2 0 0 6 a a 0 1 2 31 4 ) t h en a t i o n a ln a t u r a lf o u n d a t i o n o fc h i n a ( g r a n tn o 6 0 5 7 31 5 3 ) ，a n dt h es c i e n c ea n dt e c h n o l o g yp l a no fz h e j i a n gp r o v i n c e ( g r a n tn o 2 0 0 8 c 2 4 0 0 8 ) v 浙江大学博士学位论文 图目录 图目录 图1 1 实感绘制：( 左图) 三维动画片最终幻想中人脸细节【2 】，( 右图) 草 丛的模拟效吼1 图1 21 8 9 1 年的“m o u l i nr o u g e l ag o u l u e ”海报。2 图1 3 非真实感绘制：( 左图) 树的铅笔画风格效果 7 1 ，( 右图) 中国水墨画风 格效果f s j 。3 图1 4 非真实感绘制：( 左图) 水彩画转换效果【2 2 l ，( 右图) 大理石纹釉绘制效 果【2 4 】。4 图1 ，5 实时抽象化效果：( 左图) 输入图像，( 中图) 抽象化效果，( 右图) 进 一步卡通化效果【4 2 l 。5 图1 6 近几年来，消费级g p u 的处理能力及其发展速度已经远远超过了c p u 。 截至2 0 0 8 年6 月，n v i d i ag p u 的最大g f l o p s 已经接近10 0 0 ，而i n t e lc p u 还不到2 0 0 g f l o p s 。，6 图2 1 基于颜色的图像风格迁移算法流程图。1 8 图2 2 彩色通道的可视化【6 9 】：( 上左一 输入图像、( 上左中) 亮度通道、( 上 右中) o r g b 黄蓝通道、( 上右一) o r g b 红绿通道、( 下左) ，筇的两个 彩色通道、以及( 下右) c i el a b f l 勺两个彩色通道。从图中容易看出，只有 o r g b 颜色空间有正确的红绿通道。2 0 图2 - 3 本文颉方法与r e i n h a r d 等入的方法的比较。2 5 图2 4 灰度图像的风格迁移效果。2 6 图2 5 由不同源图像迁移后的颜色风格效果。2 7 图3 1 本文的方法以一幅( a ) 图像为输入，能生成多种抽象化效果：( b ) 双 边滤波之后，( c ) 附上线条之后，( d ) 软量子化之后。3 2 图3 ，2 迭代地构造出边缘切线场。3 4 图3 3 卷积核示意图。3 5 图3 4 ( b ) 基于流场的双边滤波器与( c ) 标准双边滤波器的效果比较。3 6 图3 5 线条控制：对于所有图像，我们设置软量子化步长为q = 8 ，锐化参数 为【3 ，14 1 。3 7 图3 6 本文的方法与其它方法的比较。请注意，本文的方法能生成与k a n g 等人 方法类似的结果，而比各向同性的高斯差分法及c a n n v 方法效果要好。3 8 图3 7 ( b ) 本文方法与( c ) 各向同性的高斯差分边缘检测方法的对比。3 8 图3 8 亮度软量子化函数图。3 9 图3 9 亮度软量子化示意图。4 0 图3 1 0 在特殊情况下的效果对比( 前景的对比度较低，而背景的对比度却较 高的情况下) 。4 2 图3 ，l1 抽象化效果图。4 6 i i i 浙江人学博士学位论文图目录 图4 1 我们的系统流程图。5 2 图4 2 兴趣区域函数计算模型的大体架构。注意，视觉注意力图和兴趣区域函 数都是全自动生成的。5 4 图4 3 图像4 4 a 的视觉注意力图计算结果基于g p u 的并行特征抽取方法能生 成( a ) 颜色对比度、( b ) 亮度对比度及( c ) 方向对比度三张特征图。这 三张特征图经过组合能形成最终的( d ) 视觉注意力图s 。而图( e ) 给出 了l t t i 等人的基于c p u 的方法结果9 。经过对比，我们可以看出，两张图像s 和s 都能够很好地指示视觉上重要的区域。5 5 图4 4 我们的方法以( a ) 一幅图像为输入，导出( b ) 一张兴趣区域函数图。 图像( c ) 和( d ) 为w i n n e m o i l e r 方法在不同抽象化尺度下的生成效果，而 我们的新的基于视觉注意力的算法结果则如图( e ) 所示。请注意，背景( 吉 他手的脚以及地面) 的细节是如何被剔除的，而前景的可视内容( 吉他手 的脸和身体) 是如何被很好地抽象化的。5 6 图4 5 在本图中，我们比较了多个抽象化效果：( 左列) 输入图像，( 右列) 我 们的非均匀抽象化方法，以及( 中间列) w i n n e m 6 1 1 e r 等人的方法。6 0 图5 1 系统流程图总览。6 5 图5 2 各种滤波操作的效果。6 7 图5 3 本文的基于形状简化的抽象效果。6 9 图5 4 不同的抽象化结果：( 顶部) 输入图片、( 中部) 基于形状简化的抽象化、 以及( 底部) 进一步添加线条效果。7 0 浙江火学博士学位论文 表目录 表目录 表2 1 系统的运行时间( m s ) 统计，图像大小以兆象素为单位。2 4 表3 1 系统的运行时间( m s ) 统计，图像大小以兆象素为单位。4 l 表4 1 视觉注意图的计算时间( m s ) 比较，图像大小以兆象素为单位。5 8 表4 2 我们的抽象化系统的运行时间( m s ) 统计。表中“其它计算”项包括 c p u 至f l g p u 的视频流传输、颜色空间转换、兴趣区域函数的插值、以及亮 度软量子化等步骤。图像大小以兆象素为单位。5 9 表5 1 本文方法的性能统计。6 8 v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得逝堑太堂或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均己在论文中作了明确的说明并表示谢意。 学位论文作者签名：红一：又孔 签字日期：扩川年- 厶月 多日 厶， 学位论文版权使用授权书 本学位论文作者完全了解逝江太堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权逝塑太堂可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：蕞：2 饥 签字日期：劣力彳年i 月6 日 学位论文作者毕业后去向： 工作单位： 温州大学 通讯地址：温州市茶山高教园区 导师虢金小协l 签字日期：厶以年i 上月- 1 日 电话： 邮编：3 2 5 0 3 5 * 博 r z 第1 章绪论 1 1 引言与基本理论 计算机图形学( c o m p u t e rg r a p h i c s ) 在真实感绘制方面已经取得了很大的 成功。真实感绘制( p h o t o r e a l i s t i cr e n d e r i n g ) 为人们提供了一种精确模拟真 实世界的方法。只要有足够的时间和资源，计算机系统就能够生成类似干照片效 果的图片。然而，这个代价是相当高的建模者必须要考虑到所有的场景细节以 达到照片级的图像效果“。图11 示意了真实感绘制的效果。对于人脸，我们需 要考虑人脸上的皮肤和眼珠的纹理性质、眼睫毛和眉毛的物理特性以及这些细节 的真实感光照模型。对于自然场景，我们需要对草丛、花卉以及树木进行造型， 每个对象都有各自不同的特点并组成一个自然的整体。为了生成一张足够真实 的图片，我们卟仅需要昂贵的计算机硬件和软件资源还需要设计人员的熟练设 训能力以及大量的设引时问。 图l l 实感绘制( 左罔) 三绯动画片龌搀幻想中人脸细节( 右阁) 草从的模拟效i ”。 非真实感绘制( n o n p h o t o r e a li s t i cr e n d e r i r i g ) 是计算机图形学的另一个 重要分支，其日标不在于所生成图像的其实性，而主要用于表现图像的艺术特质、 模拟艺术式的绘制风格或作为真实感绘制的有效补充， “非真实感绘制”一词 由d a v i ds a l e s i n 在他和w i n k e n b a c h 于1 9 9 4 年发表的一篇s i g g r a p h 论文“1 中 m d 人学饵l m i * i 镕t 图l21 8 9 1 年的“m o u l i i l r o u g e l a g o u l u e ”海报。 创造。也有人使用其它名字如“艺术绘制( a r t i s t i cr e n d e r i n g ) ”、“非真实 给划( n o n r e a l i s t i cr e n d e r i n g ) ”和“基于艺术的绘制( a r t b a s e dr e n d e r i n g ) ” 等。通过使图像非真实感化，艺术家能够让读者更沉浸于所要描述的故事中。图 像中简化的或夸张化的可视特征通常更加吸引人们的注意力并加深人们的理解 力5 。因此，艺术家在描绘个场景时，他们并不会把所有可视信息直接绘制山 束。相反地，他们只选择部分重要的可视信息井用他们的想象力把这些信息袭达 出来。比如线条绘制( l i n eb r a w l n g ) ”1 ，它可以追溯到史前时代，无疑是艟简 单和晟古老的可视信息表达方式。作为种原始的人类交流方式，线条绘制使川 ，最少的数据量( 即线条) 却有效地传递了物体的形状。在可视信息的传递以及 物体表示等方面，线条绘制甚至比真实感成像更有说服力。例如图12 所示的 i o u | o u s eia u r 。c 的1 8 9 1 年作品“m o u li nr o u g e l ag o u l u e ”。这张海报把焦点 放舟正在跳沾式康康舞的舞女t , a g o u l u e 身上。高亮及统一的颜色把她与背景区 别开来，而地裙子e 的线条提供了更加牛富的形状及材质信息。同时，她的搭档 劈 新大学博i 学位论i 第1 章绪* 图13 非真实感绘制( 左陶) 树的铅笔画风格赦果 ”( 右圈) 中国水墨画风格效果l ”。 刚缺少了颜色信息，仅有线条细节：背景人物则只绘制出了轮廓线。该例予表明 了非真宴感绘制的目的，即用抽象的图像来更有效地交流可视信息。 抽象化( a b s t r a c t i o n ) 或风格化( s t y l i z a t i o n ) 艺术反映了人类丰富的想 象力，在人类文明发展过程中占有举足轻重的地位。抽象化是指以缩减一个场景 的信息含量来将其广义化( g e n e r a i z a t i o n ) 的过程，主要是为了只保存与一特 定目的相关的信息。例如，将一只皮制的篮球抽象化成一只球，往往只保留球的 一般属性以及篮球的最显著特性等信息。如今卡通效果已经被广泛应坶j 1 + 电影、 电视、游戏、网络、广告、科普示图以及医学成像等诸多领域。中国拥有世界上 最大的动漫产业消费市场以及在线聊天群体，抽象化之后的可视信息往往能够更 加吸引人眼的注意力增进艺术家与观看者之问的信息交流”。 抽象化涉及很多技术，如基于三维的非真实感绘制。“1 ”“：“”m “、 汁算机辅助的铅笔画1 。2 ”。”( 如图13 左罔) 、水墨画”1 ( 如图13 右图) 、水彩画 。2 。“( 如图1 4 左陶) 、大弹石纹釉( m a r b l i n g ) 。5 “( 如图l _ 4 右圈) 等绘 画风格，动作抽象化：2 ”、图像抽象化“”“”“。”以及视频抽象化 。”2 1o 。“”等。我们不研宄全部技术，而是重点研究图像与视频的实时抽象 化技术( x e a l t i m ei m a g ea n dv i d e oa b s t r a c t i o n ) ，具体包括基于颜色的图像 风格迁移( c o l o r b a s e dp h o t os t y l et r a n s f e r ) 、流线感抽象化( p l o w b a s e d 南大# * 学* i镕i $ 镕论 嘲1 4 非真丈嬉绘制：( 在删) 水彩域转换效果删( 右圈) 大理石纹釉绘制散来。 a h s t r a e t i o n ) 、基于视觉感知的非均匀抽象化( s a l i e n n y b a s e dp r o g r e s s v e a b s t r a c t i o n ) 、基于形状简化的抽象化( s h a p es i m p l i f y i n ga b s t r a c t i o n ) 以 及基丁图形硬俐( g r a p h i c sp r o c e s s i n gu n i t ，简称g p e ) 的加速算法等。到目前 为止已经有相当多的研究人员开发出了他们的视频或图像抽象化系统，然而很 多方法是基于c p u 实现的，处理时间太久而且还可能需要用户的人工交互，这 些都报大程度地限制了算法的推广。也有些研究人员提出了基于g p l 的实时抽 象化，j 法，然而 | i 象化的效跟却不是报令人满息还有进一步改进和完善的申间。 颜色( c o l o r ) 、亮度( l u m i n a n c e ) 和形状( s h a p e ) 是网像的三个基本元素。图 像处理的晟普通任务之一就是改变一幅图片的颜色和亮度。基于颜色的图像风格 迁移技术借助一幅目标图像的颜色及亮度特征来改变一幅源圈像的风格。当一幅 三通道图像州某种颜色空间来表示时，各颜色通道之问往往会存在或多或少的相 关性。比如，在r g b 空间，如果某象素的蓝色通道值比较大，则该象素的红色和 绿色通道的值- 般情况下也台比较大。该技术首先将r g b 颜色空间转换到另一种 颜色空问，使荐颜色通道的相关性尽量小然后改变并顿色的统训值最后再转 换同r i ；b 颜色宁间得到风格迁移后的图像。 在计算影像学( c o m p u t a t i o n a lp h o t o g r a p h y ) ，张图片通常被分解为一张 分段光滑的基层( b a s el a y e r ) 和一张细节层( d e t a i li a y e r ) 。基层包含了 亮度的大尺度变化信息，它般是由个边缘保持的光精滤波器对原图片进行滤 波而得到。细节层捕获了小尺度的细节信息它披定义为原罔m 弓基层的差分。 浙江大学博士学* 立第l 章绪论 图i5 实时抽象化效果：( 左国) 输入图像( 中囤) 抽象化触果( 市两) 进一步k 通化嫂 果i 。 将一个合适尺度的细节层剔除掉该罔片就能被抽象忧。人们通常会添加线条信 息以获得更加风格化的效果。这些线条位于图像中高对比度的位真，因为场景中 物体的边缘报可能就在这些位置。为r 更好地传递可视信息，视觉注意力高的区 域的抽象化程度通常要比背景阢域低一些。 传统的实时抽象化系统一般采用双边滤波器( b i j a t e l a if i l t e t ) “7 。”“”1 进行边缘保持的滤波可喇采j ； 高斯茬分滤波器 ( d i f f e r e n c e - o i - fg a u s s ia 1 1f i l t e l - ) “”1 来进行边缘检测。然而。标准的双边 滤波器及高斯差分滤波器都是在并向同性( is o t r o p i c ) 的滤波核上进行操作的， 抽象化效果如图1 5 。由于各向同性滤波核的原因，所得到的抽象化图像没有方 向感及流线感”。第二，双边滤波器及高斯差分滤波器只能简化图像中的颜色 信息，却不能够简化罔像中的形状信息本身1 。因此，传统的抽象化系统可能还 需要额外的后处理步骤来对图像进行进一步的抽象化，比如用罔像分割 ( s e g m e n t a t i o i l ) 方法”9 来提取出形状信息或用亮度量子化( q u a n t i z a t i o n ) 方法“把物体边缘进行简化。第三，现有实时抽象化系统假定高对比度对应干高 视觉注意力，低对比度对应于低视觉注意力。然而，对比度奉身也是一个重要的 特征，对比度的变化往往更容易引起感知上的注意力( v l s u ms a l i e n c y ) 啡。 浙江大学博士学位论文第1 章绪论 最 大 g f l o p | s 1 月6 月 4 月 6 月 3 月1 1 月5 月 6 p 时 2 0 0 3 年2 0 0 4 年2 0 0 5 生g 2 0 0 6 年2 0 0 7 生g2 0 0 s 年间 图1 6 近几年来，消费级g p u 的处理能力及其发展速度已经远远超过了c p u 。截至2 0 0 8 年6 月，n v i d i ag p u 的最大g f l o p s 已经接近1 0 0 0 ，而i n t 七lc p u 还不到2 0 0 g f l o p s 。 由不断增长的图形学市场需求所驱动，可编程图形处理器已经演化为一个拥 有强大计算能力、高内存带宽、高度并行的、多线程和多核心处理器。当前最先 进的通用图形处理器集成了十多亿个晶体管旧1 ，如此巨大的计算资源使每个g p u 每秒钟拥有高达数千亿次的浮点数运算能力( g f l o p s ) ( 如图1 6 ) 。现在，g p u 不仅被用于传统的图形绘制系统上旧儿刚嘲1 ，还已经被广泛用于计算复杂度高的 通用问题怕魄m 3 儿刚。尽管如此，还有相当多的算法是为c p u 串行计算而设计的， 研究人员一直在寻求新的算法以适应g p u 的高性能计算框架。一幅图像其实就是 一个标准的二维数组，可以无缝地保存在g p u 纹理中。基于图像各像素的计算可 以是高度并行的，这为基于图像的抽象化算法提供了加速可能。 在本论文中，我们将重点研究图像与视频的自动实时抽象化技术，具体包括 基于颜色的图像风格迁移、基于特征流场的流线感抽象化、基于视觉感知的非均 匀抽象化、基于形状简化的抽象化以及基于g p u 的加速算法等。下面将分别介绍 与以上技术相关的概念和已有的研究方法。 1 2 研究现状与研究方法 在现有的图像与视频的风格化和抽象化系统中，有以场景的三维几何为输入 6 浙江大学博士学位论文 第1 章绪论 的，有利用静态图像作为输入的，也有使用动态视频的。图像或视频的风格化和 抽象化技术是近几年迅速发展起来的一种新的非真实感绘制技术，它将输入的真 实感可视信息进行某种方式的信息简化或夸张，从而达到风格化及抽象化的效 果。近年来，该技术受到越来越多研究人员的关注，成为计算机图形学和图像处 理领域的研究热点之一。 基于图像的非真实感绘制技术最先由s a i t o 和t a k a h a s h i 【6 5 3 提出，他们先将 三维场景的几何信息保存在数据缓存中，然后对缓存进行图像处理操作。我们直 接对视频或图像进行非