（通信与信息系统专业论文）多视点立体显示系统建模及分析.pdf

上海大学硕上学位论文 摘要 多视点立体显示技术使观看者无需佩戴立体眼镜就能在不同的位置看到不 同的立体图像，被认为是多媒体虚拟现实显示技术的未来，能够为体验者提供 色彩丰富、视野广阔、更为真实的感观效果，因此正成为多媒体领域的研究热 点。 本文“多视点立体显示系统建模及分析 ，建立了平行式摄像机阵列实拍立 体显示系统的数学模型，提出了模型质量评价方法，从几何学的角度定量分析 了拍摄和显示系统中各参数对最终立体显示效果的影响。 在分析了多视点立体显示系统领域研究现状的基础上，论文根据人眼双目 立体视觉的几何特性，结合计算机视觉原理，建立了实拍平行式立体显示系统 数学模型，与j y s o n 及z y a l p a s l a n 等人的模型相比，本文建立的模型更符合 真实拍摄情况，能更精确地对各参数进行调节，有效控制深度感；综合考虑立 体图像纵深范围、深度灵敏度、纸板效应、人眼融合极限及观看姿势对最终观 看效果的影响等因素，提出了立体显示系统模型质量评价方法，并进行了计算 仿真；比较分析了平行型和会聚型摄像机阵列获取模型对最终立体显示效果的 影响，从减少立体失真的角度考虑，选择了平行式摄像机阵列建模，并以本文 建立的立体显示系统模型为依据，提出了平行式获取模型优化方法；显示部分， 根据柱透镜光栅光学特性，分析其栅距、焦距、折射率等微观参数与观察距离 和视角范围等宏观参数的关系，针对不同的液晶平板显示器及不同的多视点立 体显示系统要求，设计柱透镜光栅参数；以c c d 模拟人眼的实验方式检测立体 可视区域，并通过t r a c e p r o 光学软件模拟仿真，验证参数设计的正确性和可行 性，从客观上对系统性能进行评价。仿真及实验结果表明，本论文建立的模型 能预测多视点系统中虚拟物体的空间分布，有效控制虚拟物体深度，减少立体 失真，为提高立体显示质量提供理论参考。 关键词：立体显示多视点立体失真柱透镜 v 上海大学硕士学位论文 a b s t r a c t a u t o m u l t i s c o p i c3 dd i s p l a yt e c h n o l o g ye n a b l e sv i e w e r st op e r c e i v ed i f f e r e n t 3 di m a g e sa td i f f e r e n tp o s i t i o n sw i t h o u tw e a r i n g3 dg l a s s e s t h i st e c h n o l o g yi s b e l i e v e dt ob et h en e x te v o l u t i o no fm u l t i m e d i a , w h i c hc a l l p r o v i d eu s e r sm o r e c o l o r f u l ，r e a l i s t i ca n dl i f e - l i k ev i s u a le n t e r t a i n m e n te x p e r i e n c e t h ep a p e r s y s t e mm o d e l i n ga n da n a l y s i sf o ra u t o m u l t i s c o p i c3 dd i s p l a y s e s t a b l i s h e dam a t h e m a t i c a ls y s t e mm o d e lf o ra na u t o m u l t i s c o p i cd i s p l a yw i t har e a l p a r a l l e lc a m e r al a y o u t d e t a i lp e r f o r m a n c ee v a l u a t i o no ft h em o d e li sa l s od i s c u s s e d ， w h i c hq u a n t i t a t i v e l ya n a l y z e dh o wt h ep a r a m e t e r so fs h o o t i n ga n dd i s p l a yp a r t a f f e c t e dt h ef i n a l3 di m a g e s a f t e ri n t r o d u c i n gt h er e s e a r c hs t a t u so f3 dt e c h n o l o g i e s ，t h i sp a p e rp r o p o s e di t s m a i na s p e c t s ：t h em o d e ld e s c r i b e dt h er e l a t i o n s h i pb e t w e e nt h er e a lo b j e c ts p a c e a n dt h ep e r c e i v e di m a g es p a c ea c c o r d i n gt ot h et h e o r yo fc o m p u t e rv i s i o na n d b i n o c u l a rp a r a l l a x t h ep e r f o r m a n c ew a sa n a l y z e dq u a n t i t a t i v e l yb yc o n s i d e r i n g p e r c e i v e dd e p t hr a n g e ，3 dd e p t ha d j u s t i n gs e n s i t i v i t y , e f f e c t so fv i e w i n gp o s t u r e s a n ds oo n b yc o m p a r i n gt w ot y p i c a ls h o o t i n gm o d e l s ，t h i sp a p e rc h o s et h ep a r a l l e l s h o o t i n gm o d e ls oa st or e d u c et h e3 dd i s t o r t i o n a no p t i m i z e dm e t h o dw a sa l s o d e r i v e df o rt h ep a r a l l e ls h o o t i n gs y s t e m t h em a t h e m a t i c a lm o d e lo fl e n t i c u l a r3 d s y s t e mw a se s t a b l i s h e do nt h eb a s i so fg e o m e t r ym o d e lo fo p t i c a ls y s t e m t h i sp a p e r a l s op r o p o s e dam e t h o dt ou s ec c dt om e a s u r et h em u l t i v i e wa r e ad i s t r i b u t i o n t h e o p t i c a ls i m u l a t i o ns o f t w a r e ，t r a c e p r o ，w a sa l s ou s e dt ot e s tw h e t h e rt h ed e s i g n e d p a r a m e t e r sw e r ec o r r e c t r e s u l t si n d i c a t e dt h a tt h i sm o d e lh a dh i g h e r3 dd e p t h a d j u s t i n gs e n s i f i v i 够t h ep a r a m e t e r so fs h o o t i n ga n dd i s p l a yp a r tc a nb ea d j u s t e d m o r ep r e c i s e l y , s ot h a tt h ep e r c e i v e dd e p t hc a nb ec o n t r o l l e dm o r ee f f e c t i v e l ya n d t h e3 dd i s t o r t i o nc a nb er e d u c e d k e y w o r d s ：3 dd i s p l a y ；m u t l i - v i e w ；3 dd i s t o r t i o n ；l e n t i c u l a rs c r e e n v i 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均己在论文中作了明确的说明并表示了谢意。 签名：錾熬趣日期：趔至：耋，加 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：j 至盏缉导师签名：弹日期：j 鲨赴力 i i t 海 学顾十学论i 1 1 引言 第一章绪论 世界是= 维的，人类通过双眼观察周嗣的世界，可以获得场景的真实j 维 感受“。然而受限于技术网紊，传统的电视系统将空间场景戚像在一个平面e ， 从而丢失了场景的三维信息。从观看者的角度来看，以这种方式再现的视频是 缺乏真实感的。因此，拍摄并再现具有真实= 维感的场景足人们长久以米的 愿望。 多视点立体显目；技术是奉世纪初迅速发展起柬的新的3 d iv 视觉技术。与 二维( 2 d ) 视频显示相比，二维( 3 d ) 视频显示与人的视觉更加匹配，它可使存2 d 视频场景冉现中失去的深度视差信息重现，使人们在屏幕上观看图像时富有立 体感和浸沉感吼 多视点立体最示系统结构见图1l 。与传统的单视点立体电视相比，多视点 立体电视有更多优点吲，例如：尤需佩戴立体眼镜等辅助光学设备，就能使观 看者裸眼感受到立体效果：便于视点交互、选择，能使用户从不同角度欣赏3 d 立体场景；更适合多用户同时观看，且不同的位置观看到的是同一场景不同的 侧面，更符合真实世界观看情况，使观众吏有身临其境的感受。 i 母圜 ： 啊卜目黼圈 l 媳西麓曩墨 。 一。j 参擎? ；0 7 一 图11 多视点立体显示系统结构 甲刍一k 。 上海大学硕上学位论文 多视点立体显示技术最主要的特点是脱离了传统眼镜式立体显示方式的约 束【4 】，可提供多个视点，同时供多人观看。该技术可以呈现出真彩的动态三维 图像，大大提升了观看的真实感，并将深度这一重要的场景信息再现给观看者， 因此，三维显示技术结合计算机技术已迅速蓬勃地发展起来，在立体电视、电 子游戏、各种科学三维目视观察、医疗成像、摄影测绘、航空飞行训练模拟、 分子模拟研究、建筑设计显示和各种计算机辅助设计上获得了广泛的应用【5 】o 1 2 立体显示深度感机理 研究表明【6 】，三维立体显示形成图像深度感的机理主要包括如下四种效应： 调节效应，是指人眼借助于纤毛体肌肉的拉伸来调节眼球晶状体的焦距。 显然，即使用单眼观看物体时，这种调节效应也是存在的，故它属于一种单眼深 度感知心理暗示。这种心理暗示只有在与双眼心理暗示共同配合下，且物体距离 人眼较近时才会起作用。 会聚效应，是指当纤毛体肌肉的拉伸使眼球稍微转向内侧，以便对着一点 观看时能够给出一种深度感的心理暗示，这种双眼心理暗示就称为会聚效应。通 常调节效应和会聚效应相互关联，会聚效应仅在物体距离较近时才会较为明显。 双目视差，即人的双眼具有一定的空间距离，瞳孔间距约为6 5 m m ，当双眼 观看同一三维物体时，双眼是从略微不同的角度注视的，从而双眼视像会稍有差 异，这种差异称为双目视差。对于中等视距的物体，人们公认双目视差信息是深 度感中最重要的构成机理。当人眼观看物体上的一点时，从该点发出的光便聚焦 于双眼视网膜的中心斑点。因此，双眼内的两个中心斑点在视网膜上给出了“对 应位置”，从而依据“对应位置 来确定会聚的大小，这种效应称为双目视差效 应。现代发展起来的各种由平面二维图像产生出立体三维图像的技术正是利用了 这一基本机理。 运动视差，当用单眼观看物体时，若眼睛位置不动，调节效应便是对深度 感的唯一心理暗示，若允许观看位置移动的话，便可利用双目视差效应从各个方 向观看物体，从而产生深度感，这个效应称为运动视差。显然，运动视差对静态 物体不起作用。 2 海犬顽学位论文 1 3 立体显示技术种类 立体显示技术主要分为两丈类，一种是有辅助工具型三维显示技术，另一 种是无辅助工具型三维显示技术，即裸眼三维显示技术，如图12 所示。前者通 常需要观看者佩戴眼镜、头盔此类辅助没各，影响了观看舒适度，且观看到的图 像大多不随不同视角( 向) 而变，影响了真实感。后者对屁示源进行了技术改进， 从而使观看者脱离了辅助设备的束缚并能够例时供多人观看到不同的视点。 ! 圈画画圈阚_ 日 同 图12 立体显示技术分类 在裸眼= 三维显示技术中，柱透镜技术和狭缝光栅技术是未来三维立体电视 显示最具有发展前景的技术。它们都是利用双目视差原理，在传统的平板显示器 上加上立体光栅米获得深度信息。在多视点立体显示中，通过移动头部使观察者 在各个观察点看到的图像对应于拍摄位置看到的三维景物不同视点，同时还可以 通过运动视差，使立体效果更加逼真。 31 有辅助工具型三维显示技术 有辅助工具型三维显示技术通过模拟人跟获取三维信息的方法，使左、右眼 | _ j 时分别观察到具有视差的两幅图像来实现三维显示效果，土要有色分法、光分 法n 时分法和头盔式吼 色分法，叉叫补色法，如图13 所示，在接收屏幕上用互补的两种颜色分别 显示供左、右两眼观看的图像，观看时只要戴颜色互补的滤光镜眼镜，就可以看 e 海 学硕十学位论空 到三维图像。其缺点是山于通过滤光镜去观看图像，彩色信息损失极大。同时 由于庀、右眼的入射光谱不一致易引起视觉疲劳。 图l3 色分法三维图像 光分法，将供左、市两眼观看的图像分别用偏振方向j f 交的两个偏振光投射 到人眼，观看叶戴上副偏搬立体眼镜，使荫眼分别看到备自所需的图像。这是 戴眼镜观看方式中图像质量蛙好的一种方法但观看时不能侧头。 时分式的三维显示技术利用彩色图像信号的奇场和偶场交苻显示左、右眼 图像，观看时佩戴液晶开关立体眼镜。 头盔显示器是沉浸式虚拟现实的常用装备，也常用于军事战备仿真等场 合。它的原理足将小型二维显示器所产生的影像藉由光学系统放大，小型显示 器所发射的光线经过 状透镜使影像凼折射产生类似远方效果，利用此教果将 近处物体放大至远处观赏而达到全像视觉。该方法立体视角小，影响了观看自 由度。 3 2 裸眼三维显示技术 随着图像图形技术、计算机视觉技术、视频压缩编码技术、广播技术和硬件 技术及显示技术的快速发展和市场应用的需求，革去辅助工具和观看约束条件限 制，从经典2 d 视额扩展到3 d 视频的要求越来越强烈。随着三维显示技术的发展， 能够满足多视点要求的不需要辅助工具的裸h r 三维显示技术成为研究的趋势，主 要有全息法、体素法和平板立体显示。 全息法效果如图14 左圈所示，该方式记录物体的光波振幅和相位信息，通 e 海大学碗学位论史 过物光波的再现实现三维显示。般来说，陵显示设备比较复杂，相对的显示图 像范围较小，所以目前醵技术主要运用于单色的小范围静态物体的三维显示，而 对十自然场景的人屏幕动巷显示还是较难实现。 体素洼如图1 4 右图所示，将串二维图像投影到一个旋转或抖动的肼幕上， 同时浚屏幕以高速移动，因人眼的视觉暂留现象，从而形成三维景象。但这种显 示方式只有心理景深，没有物理景深，并且只停留在静态图像阶段，不适用于动 态视频的播放。 罄n 谁 轴。 忡 图14 全息硅示( 左) 和体秉法显示器( 右) 平板立体显示技术是将立体眼镜的分像助能通过各种光学元件融入到平板 显示器中的一种三维显示技术 。目前这种二维显示技术多运用于液晶平板显示 器q j ，是当前三维显不技术研究的热点。基于视差原理的平板= 维显示技术主要 有狭缝光栅式和柱面透镜式两种，结构如图15 所示。 i l i j r m - 一：0 ( a ) 狭缝光栅式o ) 柱面透镜式 图15 平板立体显示方式 狭缝光栅式显示技术采用简单的黑白条纹纵向相问材料，黑色条纹遮挡部 m r r ii，=i=i8 上海大学硕士学位论文 分象素的光线，见图1 5 ( a ) 。该方法最大的缺陷在于降低了显示器的亮度，且视 野范围小，限制了观看自由度。使用者必须将头部放在3 d 视区的中心地带才 可以获得较大的活动范围，否则很容易因无法捕捉到图像而失去三维效果。柱 面透镜式显示技术如图1 5 ( b ) 所示，它利用柱透镜光栅的光学分像作用，其材 料为光学塑料或者玻璃，具有透光性好，不遮挡显示画面，不影响亮度的特点。 从技术方法上看，平板3 d 显示技术主要分为：1 ) 投影方式：将大量的投影 机对应不同视点的图像，投影到柱透镜屏幕上，利用柱透镜屏幕的分像功能实 现多视点可视空间；2 ) 接触方法：图像以某一方式排列在显示平面上，用能生 成可视区域的光学薄模，如狭缝光栅、柱透镜，使每幅图像对能够在离屏幕的 一定距离被看见，即实现立体视觉；3 ) 头部或眼部跟踪方法：根据观众头部或 者眼部位置的改变，在新的位置产生相对应的两幅不同图像。另外扫描和融合 方法也可作为上述方法的补充】。 1 4 国内外研究概况 随着本世纪数字视频技术的日趋成熟以及图像图形技术、计算机视觉技 术、视频压缩编码技术、广播技术和硬件技术及显示技术的快速发展，使人们 又重新引发了对新一代3 d t v 的强烈需求【l0 1 。近几年来，国际上对3 d t v 的研 究迅猛发展，其中欧洲以a t t e s t 计划、i s t 计划和d i s t m a 项目为代表，各 自正在发展一个集获取、编码、传输以及立体显示于一体的3 d t v 系统【1 2 】或具 有立体视觉感的3 d 远程通信。日本以名古屋大学、j e i t a 、n t t c y b e rs p a c e 等为代表分别提出了包括基于光线空间理论和基于多视点压缩的3 d t v 或通信 系统【”- 15 1 。美国以斯坦福大学和三菱美国研究院( m e r l ) 为代表分别提出了以 光场表示的多视点编解码及视点生成方案 1 6 , 1 7 1 和1 6 视点的f n ，3 d t v 系统。 此外，德国、英国、瑞士、韩国及其他国家和地区也对3 d t v 系统或其中的组 成部分，包括多视点采集、多视视频编码、解码绘制与显示等也纷纷进行了研 蜜 1 8 - 2 0 uo m p e g 注意到这一发展趋势，意识到这将会形成今后取代2 d t v 的新一代 数字电视系统，因此在i s o i e cs c 2 9 w g l l 下成立了为其标准化做准备的3 d a v 6 海大学顶i 学位论史 a d h o c 工作组，并于2 0 0 3 年发布了“3 d a v 的应用和要求”和3 d a v 探索报 告”婀个文件。此后给出了如罔16 所示的3 d t w f t v 基本框架，由多视 点采集、校正处理、多视视频编码( m v c ) 和解码、视点选择、合成及显示等组 成。 匿丑 三h 蔓) 固4 垂眶 瞄1 6自由视点视频系统基本组成l i 在躅】6 的框架中，显q ：部分是让观众直接感受3 d 立体视觉的3 d t v 的终 端。图外已提出多种3 d t v 的显示方法，自代表性的如欧盟第6 框架( f p 6 ) 信息 社会( e c ) 专题中资助的自动市体显示和用，跟踪技术田】，。菱氇0 桥实验室的分 句式3 d t v 架构中的高分辨率( 1 0 2 4 7 6 8 ) 投影式三维显示器似l 图17 1 ， 欧韫a t t e s t 计划所提出的基于深度的3 d t v 罹示系统i ”1 以及由m z w i c h e r 等 所提出的方法阱1 等。以上方法的共同点足均可不利用任何辅助工具，使多用户 直接在液晶显示屏或投影屏前观看具有立体感的3 d 场景。 俐17 二菱剑桥实验室的投影式三维显示 国内对3 d t v 的研究虽相对起步较晚，但在国家自然科学基金会和一些地 方政府的资助下，不少高校和研究机构近几年也耻得了较大的进展。在系统方 面，清华大学己建直了基于交互式动态光场的3 d t v 平台口“，上海大学则建立 了基于光线空间的3 d t v 实验平台”i 。在3 d 显示上，南京大学率先研制出我 国第一台自由立体液晶显示器，并正在研究多用户动态跟踪的宽视角3 d t v 立 体显示器 2 8 】：在投影品示方面，通过对1 5 m ( 6 0 英寸) 前向投影的设计，实现了 上海大学硕士学位论文 主成像窗e l 与副成像窗e l 有机拼接的宽视角( 士3 0 0 ) 投影三维显示系统【2 9 】。上海 大学也建立了多视点3 d 投影显示平刽3 0 1 ，并正与上海广电( 集团) 公司研制用于 3 d 广告的多视立体液晶显示器。我国台湾地区的台湾光电研究院也研制成功一 种基于微位相差板的裸眼接触式三维显示器【3 1 】。此外，在立体成像、m v c 、立 体视频图像压缩和显示上，天津大学、哈尔滨工业大学、浙江大学、西安电子 科技大学、四川大学、合肥工业大学等也有较多成果 3 2 】，上海广电( 集团) 公 司和上海文广集团等大企业也把三维显示技术的研究和应用列入了“十一五 的发展规划。 在显示质量提高方面，w o o d s 、s t e l m a c h 3 3 】从视原理和视生理讨论了垂直 视差增大时对人眼视觉舒适度的影响；y a m a n o u e 3 4 】分析了木偶失真的影响因素 并提出了降低该效应的显示技术；w o o d s 和t a n 3 5 】提出了一种串扰补偿模型； k 0 r 砌提出了一种立体图像补偿串扰算法；s c h e r t z 3 7 1 研究表明纸板效应比降 低深度分辨率更令人感到不适，而选择适当数量的深度层是降低这一失真的更 好的方法；v a nb e r k e l 6 】提出利用倾斜的透镜解决栅栏效应的方法。 1 5 课题的研究意义与研究内容 1 5 1 课题研究意义 如前所述，引起人眼深度感的主要因素有双目视差、运动视差、调节及会 聚等。为了实现三维显示效果，必须至少激起这四种因素中的一种来获得深度 感。全息法和体素法能同时引起以上所有因素而产生真实的三维景象，是理想 的三维成像方法【3 8 1 ，但是全息技术难以实现彩色立体显示，不能利用自然光获 取图像源，且全息包含的数据量巨大；而体素法则存在着无法消隐及显示的物 体通常较小等技术问题。更为重要的是二者不能应用于现行的平板显示系统， 现阶段在三维显示技术研究中这两种技术还远未成熟。因此，平板立体显示技 术是目前立体显示技术的研究热点。 在目前的多视点三维显示技术中，仍然存在着一些问题尚需进一步研究： 如尚未从3 d t v 系统整体角度考虑拍摄参数和显示参数对最终立体显示效果的 上海大学硕士学位论文 协同影响；拍摄和显示部分中各参数对虚拟物体空间位置分布的量化影响；如 何降低或消除立体显示中特有的立体失真现象；由于m o i r e 边缘而导致的三 维视觉质量的破坏；2 d 3 d 兼容性；合适的显示平面等。 针对上述问题，本文建立了实拍立体显示系统数学模型，并提出了立体显 示系统模型质量评价方法。从几何学的角度定量描述了真实物体到虚拟立体物 体间的映射关系，分析了拍摄和显示中各参数对立体图像的影响。从虚拟物体 纵深范围和灵敏度、虚拟物体形变系数、人眼融合极限等多方面对系统模型进 行了定量分析及仿真。该模型不仅能定量评价立体图像质量，而且对如何调节 及设置拍摄和显示部分的参数，以得到高质量的立体图像起指导作用。 本课题来源为国家自然科学基金重点项目“自由视点多视视频编码及3 d 立体显示基础理论与关键技术”( 6 0 8 3 2 0 0 3 ) ，国家自然科学基金项目“多视点 自动立体显示关键技术的研究 ( 6 0 7 7 2 1 2 4 ) 及上海市经委产学研合作示范工程 项目“三维自由液晶显示关键技术研究 ( 0 7 0 4 0 c ) 。 1 5 2 研究的主要内容 本文分析了立体显示技术领域的研究现状，结合计算机视觉双目视差原理， 对双目立体视觉几何特征进行分析，建立了实拍平行式立体显示系统数学模型， 描述了从真实物体到虚拟立体物体的映射关系，并从几何学的角度分析拍摄和 显示中各参数对最终立体显示效果的影响。仿真计算结果表明，本文建立的模 型更符合立体片源获取时的真实拍摄情况，并适用于普通摄像机，有利于对各 参数的调节。该实拍模型可更精确地调节拍摄和显示的参数，有效控制立体深 度感，减小立体失真。 此外，本文还综合考虑了三维物体纵深范围、深度灵敏度、立体失真、人 眼融合极限及观看姿势不同引起的虚拟物体位置变化等因素，提出了立体显示 系统模型质量评价方法，并和j y s o n 及z y a l p a s l a n 等人的模型进行了比较。 仿真计算结果表明，本模型能预测全视差和水平视差多视点系统中虚拟物体的 空间分布，具有更高的立体深度调节灵敏度，能通过调节拍摄和显示的参数， 避免纸板效应，为提高立体显示质量提供理论参考。理论与仿真证明了这一模 9 上海大学硕士学位论文 型具有更好的实拍可参考性。 为提供最终显示的片源，在研究虚拟空间到真实空间映射关系的基础上， 建立了平行型和会聚型摄像机阵列拍摄模型，比较分析平行型和会聚型摄像机 阵列获取的立体图像对最终立体显示效果的影响，从几何学角度分析了会聚式 摄像机拍摄模型的立体失真来源。从减少立体失真的角度考虑，选择了平行式 摄像机阵列建模，并以系统模型为依据，提出了平行式获取模型优化方法，减 少了重影现象。 查找和搜集立体显示系统相关的文献和资料，了解和掌握立体显示技术的 原理，根据国内外各个机构对于立体显示技术的研究和开发、目前人们对立体 液晶显示器的应用和需求状况以及各种立体显示技术的性能分析比较，选择柱 透镜光栅立体显示技术作为研究和开发的对象。 柱透镜光栅作为立体显示技术中最为重要的光学器件，其参数设计不仅要 考虑具体的液晶显示器参数，还直接影响到观看距离和最终的立体显示效果。 本文对其几何光学特性进行分析，研究其栅距、焦距、折射率等微观参数与观 察距离和视角范围等宏观参数的关系；讨论了理想情况下的柱透镜光栅视点区 域分布，并设计了柱透镜光栅参数；以c c d 模拟人眼的实验方式检测立体可视 区域，验证参数设计的正确性，从客观上对系统性能进行评价。 本文还通过t r a c e p r o 光学软件模拟仿真的方法来检验柱透镜光栅参数设计， 同时根据此种原理的液晶显示器存在的视区和亮度问题进行一定程度的优化， 以降低立体串扰失真，提高立体显示器的性能。软件模拟仿真的方法可以在不 进行样品的实际生产来检验产品的性能，这样就降低了产品开发的成本以及缩 短产品开发的周期，加快了产品上市时间。 l o 上海大学硕士学位论文 第二章立体视觉相关理论 如上章所述，引起人眼深度感的主要因素有双目视差、运动视差、眼球调 节及会聚等。其中，平板立体显示技术主要依靠双目视差原理实现三维显示效 果。本章将介绍双目视差的几何模型、摄像机拍摄模型及典型的立体失真种类， 为下一章系统建模提供参考依据。 2 1 双目视差几何模型 立体显示系统主要利用了人眼的双目视差原理。双目视差是形成立体感的 主要因素【3 l 】，它是指两眼从稍有不同的两个角度去观察客观三维世界的景物， 由于几何光学的投影，同一物体像点落在左右两眼网膜相应的不同位置上，这 种两眼网膜上位置的差即为双目视差【3 9 1 ，它反映了客观景物的深度。双目视差 几何模型见图2 1 。以两眼间连线为x 轴，两眼中点为原点建立空间坐标系 ，镰警产丐_ o x y z 。其中，点【+ 丢，o ，o j 、r l 一三，o ，o j 分别为左、右眼坐标点；p g p ，y 尸，z p ) 为物体空间坐标位置：最g 工，儿，乞) 、最g 足，y 太，z r ) 分别为左、右眼在屏幕上 看到的点p 的投影位置；d 为人眼到屏幕的距离，即观看距离；e 为两眼间距， 一般为6 5 m m 。 l ( + c 2 ，0 ， 期罂令 二二= ，o ) y r ( - 七2 ，o ， 图2 1 双目视差几何模型 j心p ，y z p l 昱7 v p 月 一 7 + 一 上海大学硕上学位论文 由投影比例关系，可得： 因此，双目视差 吒：擘+ 三 ：单一量 y r ：y 工：y p d z p z r - - - z l2d 日：x 五一z ：d - z e p z p ( 2 1 ) ( 2 2 ) ( 2 3 ) ( 2 4 ) ( 2 5 ) 由上式可知，人眼感受到的深度信息z p 与双目视差日及观看距离d 有关： d e z p 2 h + e 。 ( 2 6 ) 因此，可以通过设置双目视差及观看距离的大小来控制立体深度感。而双 目视差的大小由拍摄系统决定；观看距离的大小则由显示系统决定。由此可见， 人眼最终感受到的立体深度感不仅和拍摄参数有关，同时还受到显示系统参数 的影响。 不同的视差类型见图2 2 。其中，图2 2 ( a ) 为零视差，此时z 尸= d ，三维空 间点p 的左右眼成像点投影在屏幕上同一点，其视差为零，双眼视线交于屏幕 上一点；图2 2 ( b ) 为正视差，此时z p d ，左右眼投影在屏幕上的成 像点距离小于眼间距，且双眼视线在屏幕前不交叉，感受到p 点位于屏幕之后； 图2 2 ( d ) 为发散视差，此时z p d + e ，左右眼投影在屏幕上的成像点距离大于 眼间距，且双眼视线在屏幕前不交叉，大脑无法将其融合为一点，眼睛产生极 1 2 上海大学硕士学位论文 不舒适的感觉。现实生活中不会出现发散视差，因此在开发三维显示系统时， 要考虑人眼融合极限，避免发散视差的现象。 ，p ( a ) 零视差 2 2 摄像机拍摄模型 ( b ) 正视差( c ) 负视差( d ) 发散视差 图2 2 视差类型 在摄像机获取系统中，主要有两种摄像机阵列拍摄方法：平行型和会聚型， 见图2 3 。 ( a ) 平行型( b ) 会聚型 图2 3 摄像机模型 本节从单视点，两个摄像机入手，分别建立平行式和会聚式摄像机阵列数 学模型，从几何学的角度分析平行式和会聚式摄像机阵列对立体图像获取效果 的影响，从而选取最佳摄像机获取模型。该数学模型不仅适用于实拍摄像机阵 列，也适用于虚拟摄像机阵列。 上海大学硕上学位论文 2 2 1 平行式摄像机阵列模型 平行式摄像机阵列模型如图2 4 所示。图中，q ，d r ，d w 分别为左右摄像 机坐标系和世界坐标系，三个坐标系均为左手坐标系，它们的x - y , x - z 平面相 互重合，y - z 平面相互平行，斥- z ，平面与昂z ，平面的距离为基线b ；d f ，0 ，的 原点为摄像机的光心，其z 轴沿摄像机光轴，仉的原点取在0 ，o r 原点连线 的中点。左右摄像机的成像平面位于世界坐标系同一个x - y 平面内，且距离左 右摄像机坐标系原点为焦距f o 三个坐标系满足： x i = x + ，xr = x 一 髟= r = y ( 2 7 ) z l = z r = z 如图2 4 所示，分别以左右摄像机坐标系z 轴与成像平面交点为原点构造 图像平面坐标系c l 和c ，在针孔摄像机模型下，分别连接点p 与d ，研点，得 到的点p 舡，y t ) ，n 妫是点p 在左右成像平面内的像点。 p b f x + 一bx 一一b j = 厂子，2 厂手( 2 8 ) 卜”= 厂三 1 4 上海大学硕士学位论文 视差矢量为： 孑( x ，y ，z ) ：( 或，d ，) ：( x l - x r , y t - y r ) ：( 孕，o ) ( 2 9 ) 厶 上式表明，平行摄像机阵列中，视差矢量仅有水平方向的正分量，且在摄 像机焦距和基线确定的情况下，该分量仅与点p 的深度有关。点尸离摄像机越 远，视差越小；离摄像机越近，视差越大。 由式( 2 8 ) 和( 2 9 ) 可得，由像点坐标恢复出点尸在世界坐标系内的坐标为： 2 2 2 会聚式摄像机阵列模型 x ：堡! 兰型 2 d ， y ：生 d 。 z ：塑 ( 2 1 0 ) 如图2 5 ，会聚式摄像机视轴交汇于焦点处，代表观察物体的时候双眼聚焦 于一点。图中，仍，o n ，o w 分别为左右摄像机坐标系和世界坐标系，三个坐标 系均为左手坐标系，它们的x - z 平面共面。q ，d ，和成像平面内坐标系c t ，c r 的相对位置与平行摄像机阵列相同，d f ，0 ，的z 轴，即两台摄像机的光轴有一 个夹角，称为会聚角，设为2 0 。仉的原点取在口，口原点连线的中点，z 轴 沿会聚角角平分线方向。 p 图2 5 会聚式摄像机阵列模型 1 5 上海大学硕士学位论文 仍采用针孔模型，像点在成像平面内的坐标p l ( x t , 如，尸，( hy r ) 可分别由连 接点尸和左右摄像机坐标原点获得。三个坐标系满足： 。-sino肼x1 00c o s 0 | | 】厂l + i lzi 。1 8 i n 0 0 c o s 秒0 妻 + | | 】，l + i izi b c o s 0i i 2 1 0 i i b s i n 秒l l 2 j b c o s 目 2 o b s i n 0 2 则像点在成像平面内的坐标p t ( x t , 脚，b 似满足： 轳厂i 忑 胪i 甄忑 ( x 一拿) c o s 0 + z s i n 0 轳厂i 每忑 胪i 丐磊, i t ( 2 1 1 ) ( 2 1 2 ) ( 2 1 3 ) ( 2 1 4 ) 显然，采用会聚式摄像机模型时，视差矢量计算较复杂。此外，从公式( 2 1 3 ) ， ( 2 1 4 ) 可知，由于会聚型摄像机模型会引入垂直视差m 4 1 1 ，由该系统拍摄的立体 图像不能直接合成观看，需要先进行几何校正才能不产生立体失真。 2 3 立体失真种类 在立体显示技术中，和传统的二维显示相比，由于其增加了深度信息，在 产生立体感的同时也带来了立体显示特有的失真，如楔石失真、剪切失真、纸 板效应和串扰等。本节具体介绍几种典型的立体失真，分析其产生来源、表现 1 6 9 9 吣o m c s 。l = 1j 墨乙 秒 旧 似。咖 唱 。l = 1，j 墨r 乙 上海大学硕士学位论文 形式及改善方法，以提高立体显示质量和观看舒适度。 2 3 1 楔石( k e y s t o n e ) 失真 楔石失真只存在于会聚型拍摄系统【4 2 】，会聚型和平行型拍摄系统的深度网 格图分别见图2 8 ( a ) ，2 8 ( b ) 。会聚型拍摄系统中，两个摄像机的图像传感 器朝着略微不同的图像平面，这导致了左右摄像机记录了梯形图像形状，使一 幅摄像机图像中正方形变为左大右小，另一幅为左小右大，其效果见图2 6 。在 立体图像中，这种梯形图像形状会引入不正确的垂直和水平视差。被引入的不 正确的垂直视差就是楔石失真的根源。楔石失真在图像边缘尤其明显，并随着 摄像机间距增大、拍摄距离减小及焦距减小而增大。 垂直视差 左视图 右视图 图2 6 楔石失真来源 楔石失真会引起深度平面弯曲，见图2 7 。引入不正确的水平视差是深度 平面弯曲的根源。在图像边缘处的物体会和在图片中央的相比更远离观看者， 使观看者错误感受物体相对距离，并在摄像机移动拍摄时干扰图像运动。 观看 真实物体 图2 7 深度平面弯曲 1 7 上海大学硕士学位论文 ( a ) 会聚型( b ) 平行型 ( c ) 剪切失真 图2 8 深度网格图【4 3 】 2 3 2 剪切( s h e a r ) 失真 剪切失真的网格图见图2 8 ( c ) 。单视点时，剪切失真使感受到的立体图像 随观看位置改变而改变。负视差物体朝观察者相同的方向移动，而正视差物体 看上去朝反方向移动。这使立体图像看上去不自然，因为在现实生活中当观看 者移动他的头并从略微不同的角度看时，静止的物体看上去是固定的。剪切失 真还会导致相对物体距离感受错误。剪切失真可以通过多视点的方式来降低。 在多视立体显示技术中，观看者左右移动时，可以在不同的位置看到不同的视 点，不仅增加了沉浸感，更有效降低了剪切失真。 2 3 3 纸板( c a r d b o a r d ) 效应 纸板效应是一种典型的立体失真，其效果见图2 9 。它由差值量化引起， 会导致一个不自然的深度感受，使物体看上去在几个平面上，好像被分成了离 散的深度平面。若物体或其一部分在短时间内分派了不同的深度层，就会出现 暂时的深度不连续非匹配，这导致了一个闪烁的深度感受。研究表明【3 7 】纸板效 上海大学硕士学位论文 应比物体降低深度分辨率更令人感到不适。纸板效应可以由拍摄参数( 如焦距、 摄像机基线和拍摄距离) 或压缩参数引起，导致差值或深度值的粗糙量化【3 7 】【4 4 1 。 2 3 4 串扰( c r o s s t a l k ) 屏幕 眼疲劳 图2 9 纸板效应示意图 深度量化 立体显示中的串扰主要是由图像不完美的分离技术引起，使左眼视图漏进 了右眼视图，反之亦然。串扰由强到弱表现为鬼影、重轮廓、模糊等。串扰会 降低人眼把两幅视图融合成立体图像的能力，影响图像质量和视觉舒适度，造 成人眼疲劳，一些少量的串扰甚至会导致头痛【4 5 1 。p a s t o o r 4 5 1 证明了串扰会随着 对比度和视差值的增加而增加。串扰可能是影响立体图像质量和视觉舒适的主 要因素 4 2 】。而且，串扰的可视性会随着屏幕视差的增大而增大，这样就限制了 深度程度。串扰和立体显示器参数密切相关，因此可以通过调整立体显示器参 数降低串扰度。 2 3 5 立体失真小结 综上所述，几种典型的立体失真类型及其表现形式、来源及改善方法总结 见表2 1 。 从表2 1 中我们可以看到，我们可以采用平行式多视点立体显示系统有效 降低剪切失真，消除楔石失真，并通过正确设置拍摄系统和显示系统的参数来 降低纸板效应和串扰现象，提高最终立体观看效果和观看舒适度，降低眼疲劳。 要正确设置拍摄和显示系统的参数，了解各参数对虚拟三维物体空间位置 分布的量化影响，就需要建立系统数学模型，具体的模型推导及分析见第三章。 1 9 上海大学硕上学位论文 上海大学硕士学位论文 第三章多视点立体显示系统建模及评价 3 1 引言 多视点立体显示技术使观看者无需佩戴立体眼镜就能在不同的位置看到不 同的立体图像，正成为立体显示系统研发的主要方向脚】。在多视点立体成像系 统中，人眼感受到的立体图像根据拍摄和观看条件的不同而改变【4 7 】。从几何学 的角度分析拍摄和显示中各参数对立体图像的影响，不仅对得到高质量的立体 图像起指导作用，而且也能定量评价立体图像质量。 目前已有较多的主观实验来定性描述立体图像的质量 4 8 - 5 0 】，大多数定量分 析方法只适用于单视点的立体成像系统 4 3 】【5 l 】，而通过数学建模来定量描述多视 点的较少 5 2 , 5 3 】。j y s o n 5 3 1 从计算机图形学的角度建立了立体显示数学模型，但 尚未考虑摄像机焦距等因素，无法精确控制真实拍摄过程；z y a l p a s l a n t 5 2 】的模 型引入了摄像机传感器偏移，增大了视场范围，但不利于减少纸版效应。本文 建立的模型利用计算机视觉双目视差原理，更符合真实拍摄情况，并适用于普 通摄像机，有利于对各参数的调节。 同时，目前尚无统一的标准来衡量立体系统数学模型的质量。a n d r e w w o o d s 4 3 】等虽建立了数学模型，但仍采用主观评价进行验证；j y s o n 5 3 1 只讨论 了几种特殊观看条件下的模型评价；z y a l p a s l a n t 5 2 1 只给出了最终立体显示效 果。本章从立体图像纵深范围、深度灵敏度、纸板效应和人眼融合极限等方面 入手，提出了模型质量评价标准，综合评价了立体模型质量，并和z y a l p a s l a n 5 2 1 及j y s o n 5 3 的模型进行了比较。仿真计算结果表明，本文建立的模型能预测全 视差和水平视差多视点系统中虚拟物体的空间分布，有效控制虚拟物体深度， 减少立体失真，为提高立体显示质量提供理论参考。 根据前一章的分析，考虑到会聚式拍摄系统会带来更多的失真，如楔石失 真等【4 3 1 ，本文将以平行式拍摄系统作为建模系统。 2 l 上海大学硕士学位论文 3 2 多视点立体显示原理 在立体显示系统中，摄像机参数、拍摄位置和观看位置的不同对最终人眼 感受到的立体图像的大小、位置等有直接影响。 平行式摄像机阵列拍摄系统中，摄像机坐标系和世界坐标系的关系如图3 1 所示。 屏幕 其中，卢1 ，产l ，m ；和m 为摄像机阵列在x , y 方向上的摄像机总数， 乙为摄像机到屏幕距离；纯，y c ，z c ，1 ) 为左上角第一个摄像机在物体空间的坐标。 真实物体到立体图像映射关系