音频处理(一)

1、【教学目的与要求【教学目的与要求】 理解：数字音频采集和量化的基本原理理解：数字音频采集和量化的基本原理 掌握：数字音频的文件格式掌握：数字音频的文件格式 了解：音频编码的原理、音乐合成和了解：音频编码的原理、音乐合成和 MIDIMIDI规范规范 了解：多媒体计算机音频技术的应用了解：多媒体计算机音频技术的应用 数字音频的采集和量化、数据量计算公式；数字音频的采集和量化、数据量计算公式； 声卡的构成、分类、主要性能指标；声卡的构成、分类、主要性能指标； 常用的压缩编码算法；常用的压缩编码算法；【难重点【难重点】Sampling rate: 采样频率采样频率Audio Compression:

2、音频压缩音频压缩MIDI ( Musical Instrument Digital Interface ): 音乐设备数字接口音乐设备数字接口【外语词汇【外语词汇】2.1 数字音频基础数字音频基础2.2 声卡的组成与工作原理声卡的组成与工作原理2.3 音乐合成与音乐合成与MIDI规范规范2.4 音频编码基础音频编码基础2.5 多媒体音频技术的应用多媒体音频技术的应用一、一、 声音心理学声音心理学二、二、 音频的数字化音频的数字化三、三、 数字音频的文件格式数字音频的文件格式一、声音心理学一、声音心理学 1.声音的量纲 声音的振动是一种正弦波，声音的变化必须确定三件事：频率（变化的速度）、幅度（

3、产生的压力）、相位（何时开始）。 另外一方面，人们可以感觉到声音的强弱，可以感觉到歌唱家音调的高低。 因此，声音的量纲分为声音的物理量纲和心理量纲。一、声音心理学一、声音心理学 物理量纲可以用精确的值来描述，但对某一具体声音得来的心理印象却不容易说明白，因为心理印象要由被测者的经验而定。 声音的心理属性和物理属性不可等同，首先，这些关系不是线性的；其次这些关系不是孤立的；第三这些关系不是不变的。一、声音心理学一、声音心理学2.听觉特性等响曲线 由于响度与频率和强度有关，所以在不同频率上的强度是不同的。先设一个音为标准音，给予固定的频率、强度和持续时间，例如1000Hz、40分贝、持续0.5秒；

4、再给一个音也持续0.5秒，但频率不同，通过调整使其响度听起来一样，得到的这样一组曲线称之为等响曲线。 一、声音心理学一、声音心理学掩蔽（masking） 声音的响度不仅取决于自身的强度和频率，而且也依赖于同时出现的其它声音。 各种声音可以互相掩蔽，也就是说一种声音的出现可能使得另一种声音难于听清。由于声音的掩蔽效果，可以欺骗人的听觉。例如，本来是多种频率的声音的复合，但听众以为是另一种声音。 一、声音心理学一、声音心理学相位 从声音的波形来看，声音的起点和方向也要反映声音的特性，这就是声音的相位。当两个声音相同相位完全相反时，它们将相互抵消；当两个声音相同而且相位也相同时，声音就会得到加强。

5、相位的确定对于多声道声音系统的设计非常重要，其可以应用在回声的消除、会议系统的声音设计上。 一、声音心理学一、声音心理学听觉空间 人耳可听到来自各个方向的声音，并用不同的因素来判定声源的位置。声源的位置不论对于增进人们的感受还是增进对声音的理解，都是非常重要的。通过声音的精确再现，就可以构造出听觉空间。 方位的线索是各种声音到达两耳的精确时间和强度。一、声音心理学一、声音心理学声音的心理模拟 通过人工真实的方法，可以对视觉空间的景物进行再造或虚构，同样也可以对听觉空间的声音进行心理的模拟，这就是所谓的可听化（audiolization）。利用声音属性可以表达出一些声音的效果。 如以虚拟的湍流为

6、例，用声音的高低可以表示流体的粘度，低音表示流体很粘，高音则不粘。二、音频的数字化二、音频的数字化声音的基本概念: 声音是通过一定介质传播的一种连续波。t振幅周期A二、音频的数字化二、音频的数字化声音按频率分类：次声波次声波可听声波可听声波 超声波超声波20Hz20kHzf(Hz)人类说话声音频率范围：人类说话声音频率范围：300Hz-3kHz300Hz-3kHz10 20 50 200 3.4k 7k 15k 20kCD-DAFM广播广播AM广播广播电话电话f(Hz)（亚音信号）（亚音信号）（音频信号）（音频信号）（超音频信号）（超音频信号）声音质量的频率范围：声音质量的频率范围：二、音频的

7、数字化二、音频的数字化声音信号的类型 模拟信号(自然界、物理) 数字信号(计算机)二、音频的数字化二、音频的数字化编码模拟信号模拟信号数字信号数字信号模拟信号模拟信号数字信号数字信号A/D ADCD/A DAC声音信号的数字化过程二、音频的数字化二、音频的数字化声音数字化过程图示:连续的模拟声音信号连续的模拟声音信号声音信号的采样声音信号的采样离散的音频信号离散的音频信号二、音频的数字化二、音频的数字化声音数字化的两个步骤：采样量化 采样是每隔一段时间读一次声音信号的幅度。 量化是把采样得到的声音信号幅度转换为数字值。 声音的采样以及量化图声音的采样以及量化图二、音频的数字化二、音频的数字化二

8、、音频的数字化二、音频的数字化与音频数字化相关的重要特性：与音频数字化相关的重要特性： 指每秒钟所抽取声波幅度样本的次数。采样频率的计算单位是kHz。 采样频率与声音的质量关系最为紧密。采样频率越高，声音质量越接近原始声音，所需的存储量便越多。标准的采样频率有三个：44.1KHz，22.05kHz，和11.025kHz。二、音频的数字化二、音频的数字化二、音频的数字化二、音频的数字化 存放一个采样点所需的比特数。它反映了每个采样点能够表示的数据范围。 一般的采样位数为8位或16位，即把声音采集为256等份或65536等分。量化位数越高音质越好，但数据量也大二、二、 音频的数字化音频的数字化 纪

9、录声音时，如果每次生成 1个声波数据，称为单声道；每次生成 2个声波数据，称为立体声（双声道），立体声更能反映人的听觉感受。 有单声道、双声道和多声道。如多种语言音频混存时，需要多声道。二、二、 音频的数字化音频的数字化 可以用下面的公式估算声音数字化后每秒所需的存储量： ( (采样频率采样频率每点采样位数每点采样位数声道数声道数) )数据量数据量 8( (字节字节/ /秒秒) )二、二、 音频的数字化音频的数字化 数字激光唱盘（CD-DA，红皮书标准）的标准采样频率为44.1kHz，量化位数为16位，立体声（这就是所谓的CD音质），可以几乎无失真地播出频率高达22kHz的声音，这也是人耳所能

10、听到的最高声音频率。1分钟CD-DA音乐所需要的存储量为多少？(44.1(44.1* *10001000* *1616* *2 2* *60)/8=10584000 B60)/8=10584000 B二、二、 音频的数字化音频的数字化声音数字化三要素:采样频率采样频率量化位数量化位数声道数声道数每秒钟抽取声波每秒钟抽取声波幅度样本的次数幅度样本的次数每个采样点用多少二每个采样点用多少二进制位表示数据范围进制位表示数据范围使用声音通道的使用声音通道的个数个数采样频率越高采样频率越高声音质量越好声音质量越好数据量也越大数据量也越大量化位数越多量化位数越多音质越好音质越好数据量也越大数据量也越大立体

11、声比单声道立体声比单声道的表现力丰富，的表现力丰富，但数据量翻倍但数据量翻倍11.025kHz11.025kHz22.05 kHz22.05 kHz44.1 kHz44.1 kHz 8 8位位256 256 个值个值1616位位6553665536个值个值单声道单声道立体声立体声三、数字音频的文件格式三、数字音频的文件格式三、数字音频的文件格式三、数字音频的文件格式 MP3(MPEG Audio layer 3)是一种按是一种按MPEG标准的音频压缩技术制作的音频文件。标准的音频压缩技术制作的音频文件。 特点：高压缩比特点：高压缩比(11:1)，优美音质，优美音质三、三、 数字音频的文件格式数

12、字音频的文件格式 WMA( Windows Media Audio)是是WindowsMedia 特点：压缩到特点：压缩到MP3一半一半 MIDI( (乐器数字接口乐器数字接口) )是由一组声音或乐器符号是由一组声音或乐器符号的集合。的集合。 特点：数据量很小，缺乏重现自然音特点：数据量很小，缺乏重现自然音四、音频信号的特点四、音频信号的特点 1、音频信号是时间依赖的连续媒体。具有很强的连续性和时变性； 2、 计算机模拟自然声音时，理想的合成声音应是立体声。 3、语音信号的处理 四、音频信号的特点四、音频信号的特点 从人与计算机交互的角度看，音频信号的处理包括下述3点：v计算机与人通信，也就是

13、计算机输出音频。包括音乐合成、语音合成、声音的定位以及音频视频的同步。v人-计算机-人通信。人通过网络与异地的人进行语音通信，相关的音频处理有语音采集、音频的编码和解码、音频的存储、音频的传输、基于内容的检索等。v人与计算机通信，也就是计算机接收音频信号。包括音频获取、语音的识别和理解。一、一、 声卡的构成原理声卡的构成原理二、二、 声卡的性能指标声卡的性能指标三、三、 音箱音箱 声卡是负责录音、播音和声音合成的声卡是负责录音、播音和声音合成的一种多媒体板卡。一种多媒体板卡。一、 声卡(又称声音卡、音频卡) 录制、编辑和回放数字音频文件录制、编辑和回放数字音频文件 控制和混合各声源的音量控制和

14、混合各声源的音量 记录和回放音频时进行压缩和解压缩记录和回放音频时进行压缩和解压缩 语音合成技术语音合成技术( (朗读文本朗读文本) ) 具有具有MIDIMIDI接口接口( (乐器数字接口乐器数字接口) ) 线性输出线性输出总线接口芯片总线接口芯片数字音频处理芯片数字音频处理芯片音乐合成器音乐合成器A/DA/D和和D/AD/AMIDIMIDI接口接口混音器混音器CDCD接口接口计算机总线计算机总线话筒输入话筒输入线性输入线性输入扬声器输出扬声器输出 采样频率采样频率：11.025kHz (11.025kHz (语音效果语音效果) ) 22.05 kHz ( 22.05 kHz (音乐效果音乐效

15、果) ) 44.1 kHz ( 44.1 kHz (高保真效果高保真效果) ) 量化等级量化等级： 8 8位位/256/256级级 ( (语音质量语音质量) ) 16 16位位/65536/65536级级( (高保真质量高保真质量) )多媒体音频技术 大多数普及型声卡采用大多数普及型声卡采用FMFM合成法（与家用电合成法（与家用电子琴类似），即通过正弦波相互调制来模拟真实子琴类似），即通过正弦波相互调制来模拟真实的乐器声音。的乐器声音。 较好的声卡采用的是波形表合成技术来实现较好的声卡采用的是波形表合成技术来实现音乐合成音乐合成( (即所谓的即所谓的波表卡波表卡) )。波形表包含有真实。波形表包含有真实乐器声音波形的数字记录，在演奏时将相应乐器乐器声音波形的数字记录，在演奏时将相应乐器的波形记录播放出来。的波形记录播放出来。CODECCODEC芯片芯片( (依赖依赖CPUCPU，价格便宜，价格便宜) ) - - 数字信号处理器数字信号处理器DSP(DSP(不依赖不依赖CPU)CPU)- - ISAISA总线、总线、PCIPCI总线、总线、USBUSB接口接口信噪比越高信噪比越高, ,声音听起来就越清晰声音听起来就越清晰二、 音箱 音箱是一种电声转换的发音设备，它由音箱是一种电声转换的发音设备，它由箱体、扬声器、电源和信号放大器等组成。箱体、扬声器、电源和信号放大