大学计算机教程-第9章 多媒体技术基础.ppt

2019/7/10,第3章 多媒体技术基本知识,1,大学计算机教程,第9章 多媒体技术基本知识,2019/7/10,第3章 多媒体技术基本知识,2,第9章 多媒体技术基本知识,多媒体技术使计算机具有综合处理声音、文字、图像和视频的能力，它以形象丰富的声、文、图信息和方便的交互性，极大地改善了人机界面， 多媒体技术的出现从根本上改变了以往基于字符的各种计算机处理。 首先是语音和图像的实时获取、传输及存储，使人们获取和交互信息流的渠道豁然开朗，既能听其声，又能见其人，千里之外，近在咫尺，改变了人们的交互方式、生活方式和工作方式； 其次是促进了各个学科的发展和融合，开拓了计算机在国民经济各个领域中的广泛应用，从而对整个社会结构产生重大影响。 多媒体计算机加速了计算机进入家庭和社会各个方面的进程， 给人类的工作和生活带来一场革命。,2019/7/10,第3章 多媒体技术基本知识,3,9.1 多媒体计算机的定义和关键技术,9.2 多媒体技术的特性,9.3 数字音频基础,9.4 图像和图形基础,第9章 多媒体技术基本知识,9.5 视频与动画基础,9.6 多媒体数据的压缩与编码,9.7 多媒体应用系统的制作过程,2019/7/10,第3章 多媒体技术基本知识,4,媒体（Medium）：在计算机领域中有两种含义： 一是指用以存储信息的实体，如磁带、磁盘、光盘和半导体存储器； 二是指信息的载体，如数字、文字、声音、图形和图像。多媒体技术中的媒体是指后者。 人类感知信息的途径是： 视觉：是人类感知信息最重要的途径，人类从外部世界获 取信息的70%80%是从视觉获得； 听觉：人类从外部世界获取信息的10是从听觉获得； 嗅觉、味觉、触觉：通过嗅、味、触觉获得的信息量约占10。,9.1 多媒体计算机的定义和关键技术,2019/7/10,第3章 多媒体技术基本知识,5,多媒体计算机（Multimedia Computing Technology）的定义是： 计算机综合处理多种媒体信息（包括文本、图形、图像、音频和视频），使多种信息建立逻辑连接，集成为一个系统并具有交互性。 简单地说，多媒体计算机具有综合处理声、文、图信息的能力以及具有集成性和交互性，即多媒体计算机具有信息载体多样性、集成性和交互性。 把一台普通的计算机变成多媒体计算机要解决的关键技术是： ）视频音频信号获取技术； ）多媒体数据压缩编码和解码技术； ）视频音频数据的实时处理和特技； ）视频音频数据的输出技术。 。,9.1 多媒体计算机的定义和关键技术,9.1.1 多媒体计算机的定义及其关键技术,2019/7/10,第3章 多媒体技术基本知识,6,在计算机发展的初期，人们只能用数值这种媒体承载信息。当时只能通过0和1两种符号表示信息， 20世纪50年代到70年代，出现了高级程序设计语言，开始用文字作为信息的载体，人们可以用文字（如英文）编写源程序，输入计算机，使用英文文字同计算机交往，对于文化水平较低，特别是非英语国家，仍然是件困难的事情。 20世纪80年代开始，人们致力于研究将声音、图形和图象作为新的信息媒体输入输出计算机，这将使计算机的应用更为直观、容易。 超大规模集成电路的密度增加了； 超大规模集成电路的速度增加了； CD-ROM可作为低成本、大容量PC机的只读存储器双通道VRAM的引进； 网络技术的广泛使用。,9.1 多媒体计算机的定义和关键技术,9.1.2利用多媒体是计算机技术发展的必然趋势,2019/7/10,第3章 多媒体技术基本知识,7,9.1 多媒体计算机的定义和关键技术,9.2 多媒体技术的特性,9.3 数字音频基础,9.4 图像和图形基础,第9章 多媒体技术基本知识,9.5 视频与动画基础,9.6 多媒体数据的压缩与编码,9.7 多媒体应用系统的制作过程,2019/7/10,第3章 多媒体技术基本知识,8,1. 信息载体多样性,9.2 多媒体技术的特性,2. 交互性,3. 协同性,4. 实时性,5. 集成性,2019/7/10,第3章 多媒体技术基本知识,9,9.1 多媒体计算机的定义和关键技术,9.2 多媒体技术的特性,9.3 数字音频基础,9.4 图像和图形基础,第9章 多媒体技术基本知识,9.5 视频与动画基础,9.6 多媒体数据的压缩与编码,9.7 多媒体应用系统的制作过程,2019/7/10,第3章 多媒体技术基本知识,10,1. 声音采样 声音采样是把模拟声音波形按相等时间间隔划分为许多片断，每个片断用一个数值进行量化，从而将连续的波形转化为离散的数字信号。 影响采样后的数字音频质量的因素有：采样频率、采样量化大小和声道数。 1) 采样频率是指单位时间内的采样次数。声卡一般提供 l1.025KHz、22.05KHz和 441KHz 三种不同的采样频率。 2) 采样的量化大小反映了对采样点进行数字化时所选用的精度，用记录每次采样样本值大小的数据位数来表示，通常有 8 位、16 位和 32 位。16 位声音，衡量的样本值有 65536 个等级。 3) 声道数指所处理的声音是单声道还是立体声。单声道在声音处理过程中只有单数据 流，而立体声则需要左、右声道的两个数据流。,9.3 数字音频基础,9.3.1 声音及其数字化,2019/7/10,第3章 多媒体技术基本知识,11,2. 其他相关技术 1) MIDI (Musical Instrument Digital Interface) 是数字音乐的国际标准。它定义了计算机音乐程序、合成器及其他电子设备交换信息和电子信号的方式，可以解决不同电子乐器之间 不兼容的问题。PC 能够通过内部合成器或连接到MIDI 端口的外部合成器播放 MIDI 文件。 MIDI 文件演奏音乐的存储量最少。 2) 采样后的数字声音的大小为采样频率量化位数声道数时间 ( 秒 )/8 。例如以 22.05KHz 采样频率对模拟信号采样，采样的量化位数为16位，录制 4 秒双声道声音，获得的数据量为22.051000164/8=352800 字节。 3) 实现计算机语音输出通常有两种方法：一是文 / 语转换，二是录音 / 重放。第一种方法是基于声音合成技术的一种声音产生技术，它可用于语音合成和音乐合成。而第二种方法是最简单的音乐合成方法，曾相继产生了调频（FM）音乐合成技术和波形表 (Wave Table) 音乐合成技术。,9.3 数字音频基础,9.3.1 声音及其数字化,2019/7/10,第3章 多媒体技术基本知识,12,1. WAVE 扩展名为 WAV，是微软公司开发的一种声音文件格式，用于保存 Windows 平台的音频信号。该格式记录声音的波形，只要采样频率高，采样字节长，机器速度快，利用该格式记录的声音文件能够和原声基本一致文件太大。 2. MOD 扩展名 MOD，ST3，XT，S3M，FAR 和 669 等，该格式的文件里存放乐谱和乐曲使用的各种音色样本，具有回放效果明确、音色种类无限等优点。但它也有一些致命弱点，以至于现在已经逐渐被淘汰，目前只在一些游戏程序中使用。 3. MPEG-3 扩展名 MP3：MPEG-l layer3，是将WAV声音数据进行数据压缩后产生的音乐文件格式。它的音频数据流为112kbit/s 或 128kbit/s，与CD音质相仿，但压缩率非常高，成为目前最流行的声音文件格式，在网络、可视电话和通信方面应用广泛。,9.3 数字音频基础,9.3.2 音频文件的常用存储格式,2019/7/10,第3章 多媒体技术基本知识,13,4. Real Audio 扩展名RA，是RealNetworks公司开发的一种流式音频格式。这种格式以强大的压缩率 和相对较小的失真在众多格式中脱颖而出。出现早，技术成熟。但其压缩率和音质的综合表现一般， 有被后起之秀取代的危机。 5. Creative Musical Format 扩展名CMF，Creative 公司的专用音乐格式，和 MIDI 差不多，只是音色、效果上有些特色，专用于FM声卡，但其兼容性较差。 6. CD Audio 音乐 CD 扩展名CDA，是CD唱片采用的格式，又叫“红皮书”格式，记录的是波形流，音色和音质都非常好。但缺点是音乐文件只能存储在光盘中，不是以普通文件形式存储，无法编辑，占用空间大。一张光盘只能存储10余首CD音乐，却能存储100 多首 MP3 歌曲。,9.3 数字音频基础,9.3.2 音频文件的常用存储格式,2019/7/10,第3章 多媒体技术基本知识,14,7. MIDI 扩展名MID，目前最成熟的音乐格式，实际上已经成为一种产业标准。作为音乐工业的数据通信标准，MIDI 能指挥各种音乐设备的运转，而且具有统一的标准格式 能够模仿原始乐器的各种演奏技巧甚至无法演奏的效果， 而且文件的长度非常小， 可用于为不同乐器创建数字声音，可以模拟大提琴、小提琴和钢琴等常见乐器。MIDI 文件不包含数字化后的声音波形数据， 只包含产生声音的指令 （严格来讲， 它不属于数字音乐家族中的成员）， 这些指令包括使用什么MIDI设备的音色、声音的强弱以及声音持续的时间等。在播放声音时，计算机将这些指令发送给声卡，声卡按指令将声音合成出来。MIDI 音乐在不同场合下重放时，效果可能不同，取决于音乐合成器的质量。其缺点是不能很好地重现真实自然界中的声音，如水流、鸟鸣等， 表现语音能力差。,9.3 数字音频基础,9.3.2 音频文件的常用存储格式,2019/7/10,第3章 多媒体技术基本知识,15,MIDI消息实际上就是乐谱的数字表示。与波形声音比，MIDI 数据不是声音而是指令，因此它的数据量要比波形声音少得多。如 30 分钟的立体声高品质音乐，用波形文件无压缩录制，约需300MB 的存储空间；而同样的MIDI数据， 则只需 200KB。两者相差1500 倍之多。另外，对 MIDI的编辑很灵活，可以自由地改变曲调、音色等属性。 波形声音与设备无关，MIDI 数据是与设备有关的，即MIDI音乐文件所产生的声音与用来回放的特定的MIDI设备有关。 至于MIDI文件，是指存放MIDI信息的标准文件格式。MIDI 文件中包含音符、定时和多达 16 个通道的演奏定义，文件包括每个通道的演奏音符信息：键通道号、音长、音量和力度（击键时，键达到最低位置的速度）。由于 MIDI文件比波形文件需要的磁盘空间少，在设计多媒体节目时，将有很大的灵活性。,9.3 数字音频基础,9.3.3 波形声音与 MIDI 音乐的比较,2019/7/10,第3章 多媒体技术基本知识,16,9.1 多媒体计算机的定义和关键技术,9.2 多媒体技术的特性,9.3 数字音频基础,9.4 图像和图形基础,第9章 多媒体技术基本知识,9.5 视频与动画基础,9.6 多媒体数据的压缩与编码,9.7 多媒体应用系统的制作过程,2019/7/10,第3章 多媒体技术基本知识,17,我们知道，彩色都可用亮度、色调和饱和度来描述，人眼中看到的任一彩色光都是这三个特征的综合效果。 通常我们把色调和饱和度通称为色度，亮度是用来表示某彩色光的明亮程度，而色度则表示颜色的类别与深浅程度。自然界常见的各种颜色光，都可由红 (R) 、绿 (G) 、蓝 (B) 三种颜色光按不同比例相配而成。同样，绝大多数颜色光也可以分解成红、绿、蓝三种色光 这就形成了色度学中最基本的原理 -三原色原理 (RGB) 。,9.4 图像和图形基础,9.4.1有关色彩的基本常识,2019/7/10,第3章 多媒体技术基本知识,18,1. 矢量图与位 一般来说， 目前的图形 ( 图像 ) 格式大致可以分为两大类：一类为位图；另一类称为描绘类、矢量类或面向对象的图形 ( 图像 )。前者是指在空间和亮度上已经离散化的图像。通常把一幅位图图像近似为一个矩阵，矩阵中的一个元素 ( 像素 ) 对应图像的一个点， 相应的值表示该点的灰度等级或颜色。后者是以数学方法描述的一种由几何元素组成的图形 （图像)，即用一个指令集合来描述的，这些指令用来描述图中线条的形状、位置和颜色等各种属性和参数。 矢量图与位图比较，主要看空间和性能两方面。一般说来，要看图像的复杂程度，简单的图使用矢量图描述好一些，复杂的图使用位图好一些。前者对图像的表达细致、真实， 缩放后图形 ( 图像 ) 的分辨率不变，在专业级的图形 ( 图像 ) 处理中运用较多。,9.4 图像和图形基础,9.4.2 目前常见的图形（图像）格式,2019/7/10,第3章 多媒体技术基本知识,19,2. 图像与图形文件格式的区别 图形一般指用计算机绘制的画面， 如直线、圆、圆弧、任意曲线和图表等；图像则是指由输入设备捕捉的实际场景画面或以数 字化形式存储的任意画面。 图像都是由一些排成行列的像素组成的，在计算机中的存储格式有 BMP，PCX，TIF 和 GIFD 等，一般数据量都较大。它除了可以表达真实的照片，也可以表现复杂绘画的某些细节，并具有灵活和富于创造力等特点。 在图形文件中只记录生成图的算法和图上的某些特征点，也称矢量图。 在计算机还原输出时，相邻的特征点之间用特定的很多段小直线连接形成曲线.它的最大优点是容易进行移动、缩放、旋转和扭曲等变换，主要用于表示线框型的图画、工程制图和美术字等。常用的矢量图形文件有 3DS（用于3D造型）、 DXF(用于CAD) 和 WMF(用于桌面出版)等。,9.4 图像和图形基础,9.4.2 目前常见的图形（图像）格式,2019/7/10,第3章 多媒体技术基本知识,20,3. 图形 (图像) 的一些相关技术指标 1) 分辨率 分辨率分为屏幕分辨率和输出分辨率两种，前者用每英寸行数表示，数值越大图形(图像) 质量越好；后者衡量输出设备的精度，以每英寸的像素点数表示。 2) 色彩数和图形灰度 色彩数据和图形灰度用位(bit)表示，一般写成2的 n 次方，n 代表位数。当图形(图像) 达到 24 位时，可表现1677万种颜色，即真彩。灰度的表示法类似。,9.4 图像和图形基础,9.4.2 目前常见的图形（图像）格式,2019/7/10,第3章 多媒体技术基本知识,21,3) 常见的图形文件格式 (1) BMP：最常用的位图格式，可表现 2 位到 24 位的色彩。 DIB：它描述图像的能力基本与BMP相同，并且能运行于 多种硬件平台，只是文件较大。 DIF：DIF是AutoCAD中的图形文件，它以ASCII方式存储 图形，表现图形在尺寸大小方面十分精确。 WMF：具有文件短小、图案造型化的特点。该类图形比较 粗糙，并只能在 Microsoft Office 中调用编辑。 (5) GIF：GIF 是在各种平台的各种图形处理软件上均可处理的 经过压缩的图形格式， 存储色彩最高只能达到 256 种。 JPG：JPG 是可以大幅度地压缩图形文件的一种图形格式，色 彩数最高可达到 24位， 被广泛应用于 Internet 上。 TIF：TIF 文件体积庞大，细微层次的信息较多，最高支持的 色彩数可达 24 位。,9.4 图像和图形基础,9.4.2 目前常见的图形（图像）格式,2019/7/10,第3章 多媒体技术基本知识,22,9.1 多媒体计算机的定义和关键技术,9.2 多媒体技术的特性,9.3 数字音频基础,9.4 图像和图形基础,第9章 多媒体技术基本知识,9.5 视频与动画基础,9.6 多媒体数据的压缩与编码,9.7 多媒体应用系统的制作过程,2019/7/10,第3章 多媒体技术基本知识,23,当序列中每帧图像是通过实时摄取自然景象或活动对象 而得时，我们称之为影像视频，或简称为视频；当序列中每帧图像是由人工或计算机产生的图像时，我们常称作动画。 多媒体数字视频有5个重要的技术参数将最终影响视频图像的质量，它们分别为帧速、分辨率、颜色数、压缩比和关键帧。 1) 帧速：常用的有 25 帧/ 秒、30 帧 / 秒。帧速越高，数据量越大，质量越好。 2) 分辨率：视频分辨率越大， 数据量越大， 质量越好。这里要注意区分视频分辨率和视频显示分辨率 ( 显示像素点数 ) 。 3) 颜色数： 指视频中最多能使用的颜色数。颜色位数越多，色彩越逼真，数据量也越大。 4) 压缩比： 压缩比较小时对图像质量不会有太大影响， 而压缩比超过一定数值后， 将会明显看出图像质量下降，而且压缩比越大，回放时所需的解压时间也越长。 5) 关键帧：视频数据具有很强的帧间相关性，动态视频压缩正是利用帧间相关性的特点， 通过前后两个关键帧动态合成中间的视频帧。对于含有频繁运动的视频图像序列，关键帧数少就会出现图像不稳定的现象。,9.5 视频与动画基础,9.5.1 动画与视频,2019/7/10,第3章 多媒体技术基本知识,24,1. Quicktime 苹果公司的低成本、全运动视频的方式，现在在软件压缩和解压缩中也开始采用这种方式了。其向量量化是Quicktime 软件的压缩技术之一，它在最高为30 帧/ 秒下提供的视频分辨率是320240，其压缩率能从25到200 。 2. AVI 是微软公司采用的音频视频交错格式，应用非常广泛。视频文件通常由视频和音频两部分构成，没有经过压缩，数据量非常大，图像和声音质量较好。 AVI 很重要的一个特点是可伸缩性，使用 AVI 算法时的性能依赖于与它 一起使用的基础硬件。 3. MPEG 格式 用MPEG压缩标准压缩后的全运动视频图像，压缩比可达100:1至200:10 4. MOV格式 MOV是Apple 公司推出的视频格式，包括音频的AIFF 格式和视频的MOV格式，目前可由QuickTime 播放。,9.5 视频与动画基础,9.5.2常见的视频文件格式,2019/7/10,第3章 多媒体技术基本知识,25,9.1 多媒体计算机的定义和关键技术,9.2 多媒体技术的特性,9.3 数字音频基础,9.4 图像和图形基础,第9章 多媒体技术基本知识,9.5 视频与动画基础,9.6 多媒体数据的压缩与编码,9.7 多媒体应用系统的制作过程,2019/7/10,第3章 多媒体技术基本知识,26,数据压缩是一种数据处理方法，作用是将一个文件的数据容量减小，而又基本保持原来 文件的内容，主要目的就是减少信息的存储空间，以便于信息传输。当然，在需要这些信息 时，需要通过解压缩将信息还原。 数据压缩技术的三个重要指标是压缩前后所需的信息存储量之比、压缩算法和恢复效果。 压缩编码方法也分为两类：无损压缩 (也称冗余压缩) 和有损压缩。有 损压缩会减少信息量，损失的信息是不可恢复的。 目前，被国际社会广泛认可和应用的通用压缩编码标准大致有如下4种：H.261，JPEG，MPEG和DVI 。,9.6 多媒体数据的压缩与编码,2019/7/10,第3章 多媒体技术基本知识,27,9.1 多媒体计算机的定义和关键技术,9.2 多媒体技术的特性,9.3 数字音频基础,9.4 图像和图形基础,第9章 多媒体技术基本知识,9.5 视频与动画基础,9.6 多媒体数据的压缩与编码,9.7 多媒体应用系统的制作过程,2019/7/10,第3章 多媒体技术基本知识,28,1.定义： 多媒体应用系统又称为多媒体应用软件。它是由各种应用领域的专业人士或开发人员利用多媒体创作工具或计算机语言制作的最终多媒体产品，是直接面向用户的。多媒体系统是通过多媒体应用系统向用户展现其强大的人机交互功能和丰富多彩的视听功能。目前，多媒体应用系统已广泛地应用到社会的各个领域。 2. 分类: 多媒体应用系统一般分为以下类型：文化教育