虚拟现实医学教学平台研究

摘要目的：设计一种双目立体虚拟现实(VR)显示教学资源平台，利用其沉浸性能来增强对学员主观视角上的刺激，达到快速拓展知识面的效果。方法：对 3D 立体视觉原理进行探讨，设计立体显示的软硬件系统再使用计算机实现视觉模型，采用打开图形库(OpenGL)图像编程接口，分析 OpenGL 实现三维(3D)图像渲染显示的原理与其坐标变换原理；在 OpenGL 中构建平行双目视觉的影像模型，确定在双目立体显示系统中两个摄像机的相对位置；使用 OpenGL 在该模型的基础上设计 3D-VR 医学教学资料。结果：研究的视频资源的渲染质量能够达理想要求，图形渲染速率可满足交互操作的要求，交互性能良好。使用数学建模方法实现两种视觉模型建模；使用OpenGL 构建了平行双目投影模型，完成了双目立体显示平台的设计与实现。结论：3D 双目视觉的 VR 医学教学平台能够较好的表现医学教学操作场景的特征，达到了预期的效果；丰富了教学资源，提高了学员的培训效率。关键词虚拟现实；视觉模型；三维；医学教学平台随着计算机科学技术的不断进步，促使虚拟现实(virtualreality，VR)技术的发展。VR 技术是以计算机技术为基础，集成了三维(three-dimensional，3D)图像、立体显示和触觉反馈等多种技术，是构建 VR 数字环境的一门新兴技术。在一定范围内 VR环境在视觉、听觉和触觉等感官方面与真实环境高度相似，并能实现人与计算机之间的理想交互1。其中，立体显示技术3D 则是VR 技术中最为关键的技术之一。由于人眼看事物时是通过双目成像的过程，普通的视频及图像显示，只能展示所谓平面的二维空间影像，即无法充分展示以及令眼部感受到事物的深浅、远近以及角度等信息，因此真正的 VR 医学教学资源的既视感需要 3D 成像来展示。为此，本研究设计开发一种双目立体 3D-VR 医学教学资源平台，为教学资源中的新技术和新业务开展提供技术支持。13D-VR 医学教学平台1.1 研发背景VR 技术在医学上的应用前景十分广泛，生物学与医学仿真系统的开发也越来越多，3D 双目视觉 VR 医学教学平台是基于虚拟仿真操作来实现2。在教学操作中，医生需要通过使用剪刀、抽吸器和手术刀等手术器械来进行手术操作，将这些内容反映到 VR 医学教学的场景中，需要针对操作实现相关的立体视频展示，而由于不同患者信息的差异性，需要获取不同患者的病理特征，并在 VR 场景中重现其特征。因此，通过利用基于计算机立体视觉的双目 3D 视觉技术，模拟重现真实的医学教学场景，以此训练医生和(或)学员的操作能力，而训练者通过相应的硬件设备便能够观测到 3D-VR 视觉效果，从而获取更好的训练效果。1.2 主要研究内容本研究以 3D 双目视觉的 VR 技术为基础，将其应用于计算机 VR医学教学中，以解决 VR 仿真系统中 3D 显示问题；探究 3D 视频渲染及纹理映射等问题，为实现 VR 的沉浸式感受提供理论指导与依据，并为其他相关的研究提供理论支持。在一般的 VR 显示设备中，采用的头盔显示器的显示屏并不能完全的覆盖眼睛的视场，除显示屏显示的画面外，还能看到很大部分的黑暗背景。对此，在医学 VR 教学实验平台的基础上提出广视角的双目 3D 视觉解决方案，能够完全的覆盖人眼的视觉场景；通过理论分析、系统设计编程以及实验测试与评价，完善了本研究提出的双目 3D 立体显示系统设计。通过改善理论与模型，构建较为优化的双目 3D 立体显示系统，并对系统性能进行评价3。研究内容包括：设计广视角 3D 双目视觉的 VR 显示系统，对系统的硬件系统做出详尽的分析，研究一个实用的广视角3D 立体显示方案；针对平台中的教学操作过程模型仿真与图像视频显示，利用本领域的现有研究成果，提出平台的软件设计，着重研究 VR 医学教学平台的 3D 成像方案，视频渲染方法等；研究双目立体视觉的几何投影模型，通过分析各种模型的优缺点，确定采用的几何投影模型，并通过打开图形库(opengraphicslibrary，OpenGL)专业 3D 程序接口，实现本设计的模型，完成 3D 双目视觉的 VR 软件设计。23D 双目视觉的 VR 系统平台研发2.1 平台总体架构双目视觉的 VR 医学平台架构可分为 3D 建模、触觉反馈、VR 设备、3D-VR 教学资源和视觉系统部分。双目视觉的 VR 医学平台的工作流程为：系统通过 3D 建模导入系统的模型数据用户(学员)通过触觉设备与系统进行交互操作操作结果反馈到视觉系统视觉系统通过反馈的数据渲染出视频并将反馈视觉信息给用户用户通过视觉、力触觉等感官因素与系统进行交互操作4。2.2 平台硬件组成在 3D 双目视觉的 VR 平台上，设计的双目场景均可以实现 3D-VR视觉显示。在硬件模块中，3D 双目视觉的 VR 医学教学平台将操作数据流导入到视觉系统中；中央处理器(centralprocessingunit，CPU)通过指令控制数据的处理，图形处理单元(graphicsprocessingunit，GPU)协助处理图形数据，并将经过处理的 CPU 和 GPU 数据流导入到缓冲存储器；用户选择显示模式，缓冲存储器则将处理好的图像数据流传入相关的显示器进行显示。同时，可通过头部追踪及音频设备等来增强系统沉浸感。硬件系统主要由个人计算机(personalcomputer，PC)终端与头盔显示器两部分组成。由于本研究所涉及的模型数据很大，需要图形加速来提供较快运算速度以达到快速的视频队列渲染刷新速率，因此需选取具有较强视频处理能力的工作站。2.2.1PC 终端采用的 CPU 为 Intelcorei7-6700 处理器，使用 22nm 制作工艺，处理性能稳定。CPU 具有四核、八线程、三级缓存，处理器主频3.4GHz，处理速度能够满足本系统的处理任务要求，对于本研究的3D 双目视觉的 VR 医学教学平台程序运行已足够。显卡芯片为NvidiaGeForceGTX960，英伟达 Quadro 系列显示芯片，其定位为专业级绘图工作站领域，具有十分优秀的图形绘制能力。内存为 32GB的 DDR4ECCRDIMM，具有新一代内存的优秀存储性能，能够胜任本系统模型数据的存储。2.2.2VR 显示设备采用 2016 年新上市的 OculusRiftCV1 头戴式显示器，CV1 版本相比之前的 DK2 版本有着诸多的升级之处，其配备了全新双有机发光二极管(organiclight-emittingdiode，OLED)显示屏设计，综合分辨率为 21601200 像素，90Hz 刷新率及 110 度视野，防止眩晕并提供足够流畅的使用体验；内置陀螺仪、加速度计及磁力计等，其显示精度在同类产品中较为优秀。配置上足以满足良好的观摩体验，该设备在目前的研究阶段中，尚未获得广泛普及与应用，但发展十分迅速。相对市场上其他产品较为经济，且具有覆盖眼睛全部视场的全视角，适合于本研究的探索性测试，能够起到头部跟踪效果及广视角显示作用，且能够清晰的显示图像，并且达到沉浸式效果。VR 显示设备具有两组曲率差别的透镜组，A 类透镜适用于普通视力及轻度近视的使用者，B 类透镜适用于高度近视的使用者；头部位置追踪设备，可以通过追踪头部位置来实现渲染视点的转移；数字视频接口(digitalvisualinterface，DVI)转换高清晰度多媒体接口(highdefinitionmultimediainterface，HDMI)视频转换接口，适用于对电脑接口的转接，可更改插头的电源适配器，以及若干连接线。2.2.3VR 显示设备广视角的实现VR 显示设备通过凸透镜的放大原理，在人眼与显示屏之间放置一组凸透镜，通过图像的处理使得眼睛获取广视角，从而增加了设备的沉浸感。显示屏通过显示软件处理得到的图像，而显示屏的光线则透过透镜组到达眼睛，正如图 4 所显示，人眼的视角得到了全部的覆盖。广视角的头盔显示器能够带给观测者极强的沉浸感，但由于使用透镜放大虚像，需要对图像做进一步的处理，图像边缘的扭曲效应，锯齿效应仍然十分明显，有待在今后的研究中得以解决。2.2.4 头戴显示器头部追踪的实现头戴显示器的头部追踪装置，在增强学员感官沉浸感的过程中起到探测跟踪头部的方位、实现渲染场景中观察视点的改变作用。设置头部为坐标，通过坐标设置确定了追踪器追踪的视点的原点位置；默认原点为人头部初始位置，梯形视锥体为追踪的范围，只有当头部的移动落在该范围内部，头部位置的转移才会通过追踪器在屏幕上得到追踪点新的位置坐标。追踪摄像机在得到头部位置之后，通过基于原点的偏移计算，得到头部偏移位置，继而将偏移位移数据传输给显示系统，系统通过重新计算设置内部摄像机模型新视点，以达到与头部位置同步。2.3 平台的软件构建VR 医学教学平台开发的重点为 3D 视觉显示，而 VR 教学平台开发的软件实现是视觉显示实现的基础，因此 VR 医学教学平台的软件构建尤为重要。在 VR 医学教学资源的实现过程中，充分利用计算机资源表达和实现近乎真实的 VR 场景，需要对医学教学资源进行模拟及仿真处理。整个过程涉及到计算机图形渲染和 3D-VR 虚拟模型等技术模拟“真实”的医学教学场景。2.3.13D 视频模型建立(1)3D 信息的获取。3D 视频建模技术是使用计算机数字化对现实世界中物体进行形状、材质、纹理等多方面属性进行表述5。一般 3D 建模的主要步骤为：获取 3D 信息、3D 建模及模型的计算机实现。对于 3D 信息的获取，需要获取待建模物体的外部数据、位置信息、大小及长宽尺寸等。针对不同情形的物体，具体信息的获取方式亦不同。传统方法为直接测量获取，随着计算机科学的发展及各种科学检测设备的出现，3D 信息获取的方式也越来越多，如激光扫描测量、结构光学测量以及近景摄影测量等。(2)模型的建立。传统的模型建立，常使用几何方法构建模型的结构，随着各种 3D 建模辅助软件的出现，可通过辅助软件实现 3D 视频模型的建立，设计模型的数据结构6。模型的计算机实现主要通过视频渲染及纹理映射等方式来实现。在 VR 教学资源中，对于建立模型的实时交互性、显示速率、模型精确度等具有较高的要求，就要求模型逼真，容易进行几何处理，模型更新的速率能够达到视频渲染的速率。因此，在模型的获取上，如通过激光扫描获取更加精准的视频数据，再通过分析数据，获取视频模型特征，消除噪声并最终使用辅助软件完成视频模型数据的获取7。(3)3D 视频模型实现。由于 3D 视频模型无固定的结构特性，不具有拓扑结构，其简单的构造极易进行几何处理和点模型的重构，对于医学教学资源而言，基于点的模型更适用于人机的交互操作，各阶段数据的处理与模型的显示可被简化，因此采用 3D 点云模型的建模方法作为数据结构。通过 3D 离散点的采样使用计算机重现出该模型的 3D 信息，进行位置计算并投影到 2D屏幕上进行光照和纹理等处理，最终渲染出 3D 视频。对于双目立体显示系统而言，更快的渲染速率意味着视频更快的刷新速率，刷新速率越快，视频显示将更加稳健，则不会出现画面的闪烁感，从而保证系统良好显示效果。2.3.23D 视频渲染视频渲染方法中，最常用的有三角网格法和基于点模型的渲染方法两种8。三角网格法在视频渲染中应用最为广泛，使用该方法需要所渲染的曲面具有一致的拓扑关系。然而，当需要对教学视频模型进行交互操作时，虽然该方法简单，渲染效率高，但维护曲面一致的拓扑关系十分困难。不适合高实时性的系统。而基于点的方法相对更适合。基于点的渲染方法中，点能够很容易地承担视频制作基元，渲染效率高，其难点在于使用离散点构造无空洞的连续表面，获取点的法向量，使用精确的法向量能够获取更加真实的光照效果9。使用三个方向相互垂直的光源照射物体，从而记录每条光线上与物体模型交点上的法向量、颜色及材质等信息，采用分层深度立方体(layereddepthcube，LDC)结构，类似于 3D 空间的坐标表示，LDC 结构中相邻的 8 块构成 1 个大块节点，也可理解为八叉树结构。渲染时，设计了面元的概念，通过计算每个像素中面元个数，确定八叉树中的层次可见性后再完成遮挡的判断，通过法向量计算光照，最终完成立体视频构造并显示。采用八叉树的数据结构来组建模型，能够使得渲染速率与渲染质量都能达到预期的效果。33D 双目立体教学资源应用人类视觉可获取 80%的外界信息，而使用计算机及摄像设备来实现人类视觉功能十分困难。人类形成立体视觉与人眼的深度感知有关，即人眼分辨立体环境中物体的大小、远近、高低和位置前后关系的能力10。深度感知的来源主要是双目线索深度感知信息，借助计算机来模拟实现人类的视觉，模拟应用生物视觉仿生技术。一台数字摄像机能够以每秒数十帧的速度传输图像给计算机，这种关系类似于人类视网膜与大脑之间的关系。通常，视觉系统获取原始场景的信息并加以保存。场景中物体的灰度、形状、位置等关系以及场景中光线关系均为获取信息的重要因素，因此取决于物体的材质、纹理以及环境光照。使用计算机实现双目视觉既需要硬件设计，也需要软件支持，通过 OpenGL 的独立的 3D 影像开发库，