（模式识别与智能系统专业论文）石油产品质量近红外光谱在线分析系统研究开发.pdf

浙江大学硕士学位论文 摘要 在炼油过程中，通常需要对产品的关键品质比如汽油辛烷值或柴油十六烷值 等进行在线监测。传统的实验室分析方法由于测定费用高，测量滞后大，而不适 合实时在线分析。近红外( n i r ) 光谱分析技术是一种快速的无损分析技术，可 用于对石油产品质量的在线实时分析。为此，本文对近红外光谱应用技术进行了 深入研究，并开发了石油产品质量近红外在线分析系统，具体包括以下几个内容： 1 通过大量的中外文献阅读，对近红外光谱分析技术的概念、原理及其在 石油产品质量分析中的应用进行了较为系统完整的阐述。 2 针对一批实际生产装置的汽油样品，采用近红外光谱定量分析中常用的 多元线性回归( m l r ) 与偏最小二乘( p l s ) 方法，建立了汽油研究法辛烷值 n i r 光谱预测模型。实验结果表明p l s 模型在预测精度上优于m l r 模型，其平 均预测误差- + 0 2 个辛烷值单位，完全可以满足实际应用的需要。 3 为克服m l r 与p l s 等线性校正方法的局限性，本文将最小二乘支持向 量机( l s s v m ) 算法用于近红外光谱的定量校正，并以一批柴油十六烷值样品 数据为例对以上方法进行了比较。结果表明，l s + s v m 校正模型取得了最好的模 型拟合和预测效果。另外，结合在线应用的实际情况，本文提出了一种直接基于 样品数据库的在线建模方法。实例分析表明，在线模型具有了良好的自学习能力， 当待测样品性质发生较大变化后，仍能保证良好的预测精度。 4 基于上述研究成果，并结合炼油过程的实际情况，研制了汽油辛烷值的 近红外光谱在线分析系统。该系统已用于某炼油厂重整汽油研究法辛烷值的在线 分析，实际应用显示了其良好的预测效果。 关键词：近红外光谱定量校正最小二乘支持向量机汽油辛烷值 柴油十六烷值在线分析 浙江人学硕十学位论文 a b s t r a c t s o m ep r o p e r t i e so fp e t r o l e u m p r o d u c t s i n r e f i n e r y s u c ha s g a s o l i n e o c t a n e n u m b e ra n dd i e s e lc e t a n en u m b e ra r en e c e s s a r yt ob eo n l i n em o n i t o r e d l a b o r a t o r y a n a l y s i sm e t h o d sa r eu s u a l l yn o ts u i t a b l ef o ro n l i n em o n i t o r i n gb e c a u s eo f t h e i rh i g h c o s ta n dl o n gt i m ed e l a y n e a r - i n f r a r e ds p e c t r o s c o p y 洲i r s ) i san o n - d e s t r u c t i v e r e a l t i m ea n a l y t i c a lm e t h o d ，a n di ti sp r e f e r a b l et oo n l i n em o n i t o r i n gf o rt h ep r o p e r t i e s o f p e t r o l e u mp r o d u c t s t h e r e f o r e ，t h i st h e s i sr e s e a r c h e dt h ea p p l i c a t i o nt e c h n i q u e so f n i r sa n dd e v e l o p e da no n l i n en i r a n a l y z e rf o rp r o p e r t i e so fp e t r o l e u m t h em a i n c o n t r i b u t i o n so f t l l i st h e s i sa r ea sf o l l o w s ： 1 i n t r o d u c et h ec o n c e p t sa n dt h ep r i n c i p l e so fn i rq u a n t i t a t i v ea n a l y s i s ，a n dt h e n r e v i e wt h ea p p l i c a t i o n so f n i r si np e t r o l e u mp r o d u c t s a n a l y s i s 2 f o ras e to fg a s o l i n es a m p l e s ，m u l t i v a r i a t el i n e a rr e g r e s s i o n ( m l r ) a n dp a r t i a l l e a s ts q u a r e s ( p l s ) c a l i b r a t i o nm o d e l sa r eb u i l tt op r e d i c tr e s e a r c ho c t a n en u m b e r ( r o n ) e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep l sm o d e lg a i n sh i g h e rp r e d i c t i o n a c c u r a c y w i t ht h em e a n p r e d i c t i o ne r r o r o 2 o c t a n en u m b e r 3 t oo v e r c o m et h ed i s a d v a n t a g e so f t h e1 i n e a rc a l i b r a t i o nm e t h o d ss u c ha sm l ra n d p l s 1 e a s t s q u a r e ss u p p o r t v e c t o rm a c h i n e ( l s s v m ) i si n t r o d u c e dt on l r q u a n t i t a t i v ec a l i b r a t i o n i nt h i st h e s i s f o ras e to fd i e s e lc e t a n en u m b e rf c n l s a m p l e s t h el s s v mm o d e lo b t a i n st h eb e s tp e r f o r m a n c ei nt h ec np r e d i c t i o n c o m p a r e d w i t l lt h em l ra n dp l sm o d e l t om e e tt h en e e do fo n l i n ea p p l i c a t i o n s an o v e lo n l i n em o d e l i n gm e t h o dh a sb e e np r o p o s e d e x p e r i m e n t a lr e s u l t ss h o w t h a tt h eo n l i n em o d e le x h i b i t sa g o o ds e l f l e a m i n ga b i l i t y a n d k e e p sh i g h p r e d i c t i o na c c u r a c y e v e n i f g r e a tc h a n g eo f p r o d u c t sq u a i l t yo c c u r s 4 b a s e do nt h ea b o v er e s e a r c hr e s u l t s ，a no n l i n en i r a n a l y z i n gs y s t e mh a sb e e n d e v e l o p e dt op r e d i c tg a s o l i n er o n t h i ss y s t e mh a sb e e ni n s t a l l e di nac a t a l y t i c r e f o r m i n g u n i ti na r e f i n e r y , a n di n d u s t r i a la p p l i c a t i o n ss h o w i t sg o o dp e r f o r m a n c e i nt h ep r e d i c t i o no fr o n k e y w o r d ：n e a r - i n f r a r e ds p e c t r o s c o p y ,q u a n t i t a t i v ec a l i b r a t i o n ， l e a s t s q u a r e ss u p p o r t v e c t o rm a c h i n e s ， g a s o l i n eo c t a n en u m b e r d i e s e lc e t m l en u m b e r ,o n l i n em e a s u r i n g 浙江大学硕士学位论文 致谢 v 值此论文完成之际，我衷心感谢戴连奎副教授近三年来对我孜孜不倦的教育 的指导。戴老师把我带入了近红外光谱分析研究的大门，不仅在学习过程中给予 我悉心的指导，而且为我提供了一个宽松、和谐的研究环境，引导我在科研t 作 中一步步前进，我的每一次进步和取得的成绩都是与戴老师的教育的帮助分不开 的。戴老师对学生的关心是无微不至的，即使在大洋的彼岸也不忘对我们的教育。 在生活中上戴老师也给予了我极大的关怀，戴老师毫不吝惜的热情鼓励总是在我 遇到困难的时候使我重新振奋。戴老师勤奋敬业、知识渊博、思维敏锐、治学态 度严谨，在学习和工作上为我树立了良好的标榜。戴老师人生态度睿智达观，性 格平易近人、幽默风趣，爽朗的笑声总是充斥实验室，令人感觉轻松愉快。 衷心感谢吴铁军教授和杜树新副研究员对我工作学习各方面的帮助和启迪。 吴教授对待学生和蔼可亲，语言幽默，令人如沭春风。吴教授治学态度非常严谨、 观点新颖，能给人带来启发。他对工作一丝不苟、亲历亲为，对事业孜孜不倦的 追求精神令我非常钦佩和敬仰。 感谢杭州炼油厂蔡仁杰总工程师、质检处的王吉生与徐兴高处长以及其他人 员为本课题的进行所提供的帮助和支持。另外，感谢上海炼油厂李振光副总工程 师、计动科的顾聿平科长与张芹花高工、重整车间严俊主任及其他人员在汽油汽 油辛烷值在线分析系统的现场实施过程中所提供的支持和帮助。 衷心感谢武晓莉师姐，方骏、乐斌、纪竹亮和郭叶军等同学以及郑旦师傅， 他们在我科研学习的过程中给予了我极大的帮助和支持，共同营造了一个和谐的 学习生活环境，在此表示诚挚的谢意。 特别感谢陈鹏和覃旭松两位小师弟，在一年多的相处中，他们给了我很大的 帮助和支持，与我共同完成科研课题，在此表示特别的谢意。 感谢三年来与我同一寝室的徐伟栋、黄威和武二永同学，他们是我的良师益 友，在学习和生活上给予我许多热心的帮助，跟他们在一起生活非常愉快。 感谢我的父亲母亲，他们用自己最大的努力帮助我完成学业，感谢他们一直 以来对我的关爱和支持。 对关心和帮助过我的所有同学和朋友们表示感谢。 姚肖刚 二零零四年二月于求是园 浙江大学硕士学位论文 第一章近红外光谱分析技术 摘要：现代近红外光谱是最引人瞩目的光谱分析技术之一，可以用来对很多有机化合物进 行定性和定量分析。本章首先简单介绍了近红外光谱分析技术的发展历群，测量原 理和技术特点，然厉对定量分析的原理和过程进行了详细阐述，并系统地讨论了应 用于近红外光谱定量分析中的数据预处理技术和多元校正技术。同时也对近红外光 谱技术在各个领域特别是石油产品领域中的应用作了简单回顾。 关键词：近红外光谱定量分析预处理多元校正石油产品 1 1 引言 在科学研究中经常需要知道物质的组成、状态和结构，常规的分析化学方法 是采用化学分析的手段研究物质的特性；二次大战后，物理学与电子技术的发展 并被引入到化学分析中给分析化学带来革命性变化，开始了仪器分析时代。以紫 外一可见分光光度法、红外吸收光谱法、拉曼光谱法、核磁共振波谱法等方法组 成的光学分析方法是仪器分析的一个主要内容，其中近红外光谱技术又由于其独 特的优点，得到广泛应用，是近年来发展最快的分析技术之一。 近红外光谱分析技术包括定性分析和定量分析，定性分析的目的是确定物质 的组成与结构，而定量分析则是为了确定物质中某些组分的含量或是物质的品质 属性的值。与常用的化学分析方法不同，近红外光谱分析法是一种间接分析技术， 是用统计的方法在样品待测属性值与近红外光谱数据之间建立一个关联模型( 或 称校正模型，c a l i b r a t i o nm o d e l ) 。因此在对未知样品进行分析之前需要搜集一批 用于建立关联模型的训练样品( 或称校正样品，c a l i b r a t i o ns a m p l e s ) ，获得用近 红外光谱仪器测得的样品光谱数据和用化学分析方法( 或称参考方法，r e f e r e n c e m e t h o d ) 测得的真实数据。由于近红外光谱仪器以及测量环境等因素的影响，用 近红外光谱仪测得的原始光谱数据中必定含有部分噪声，为了获得较高的预测精 确度，必须预先对这些原始数据进行预处理，预处理后的光谱数据可以用于建立 定性和定量校正模型。2 0 世纪7 0 年代产生的化学计量学( c h e m o m e t r i c s ) 学科 是一门化学分支学科，它应用数学和统计学方法设计和选择最佳的测量程序与实 验方法，并通过解析化学数据提供最大限度的化学信息。校正技术是化学计量学 的一个重要组成部分，多元校正技术在光谱分析中的成功应用促进了近红外光谱 技术的推广。 从近红外光谱技术的发展来看，近红外光谱技术的进步离不开化学计量学的 不断丰富，同时也是近红外光谱仪器的不断发展和进步的结果，光谱仪器的进步 包括仪器类型的多次扩展和仪器性能的逐步提高。 第一章近红外光谱分析技术 近红外光谱技术在定量分析中显示出的优点使其很快延伸到各个工业领域 中。在石油炼制中，从原料到成品的许多生产过程都需要进行监控，通常是对各 个工艺流程中产品的组分或某项品质指标进行定量分析。而传统的化学分析方法 周期长，很难满足实时监控的要求。近红外光谱技术由于具有快速分析的优点以 及其固有的特点特别适合在线分析，在上个世纪9 0 年代初近红外光谱技术进入 石油产品领域后，在线分析已经出现并开始取代部分传统分析仪表。 1 2 近红外光谱分析技术概述 1 2 1 近红外光谱分析技术发展历程 近红外光( n e a r - i n f r a r e d ，n i r ) 是指波长范围为7 0 0 2 5 0 0 n m ( 美国试验和 材料协会一a s t m 规定) 的电磁波。1 8 0 0 年h e r s c h e l 在一次试验中发现可见光 的红光区外仍存在辐射，由于当时仍然无法观测到，因此他将这种电磁辐射定义 为红外光( i n f r a r e d ) 。到1 8 8 1 年，a b n e y 和f e s t i n g 采用摄谱法对7 0 0 r i m 到1 2 0 0 n m 光谱区有机化合物的近红外光谱进行了测定，发现此光谱区的吸收带均与氢密切 相关。1 8 9 2 年，j u l i u s 发现了红外光敏感装置，并利用岩盐棱镜和测温辐射计( 电 阻温度汁) 测定了2 0 多种有机化合物的红外光谱。1 8 世纪末1 9 世纪初，c o b l e n t z 用自己制作的红外光谱仪测定了几百个化合物，发现每种化合物都有其独特的光 谱，c o b l e n t z 的发现为科学家获取化合物的结构信息开辟了一条新的道路。 h e r s c h e l 、j u l i u s 和c o b l e n t z 的研究工作使人们对2 5 2 5 1 a m 中红外光谱区 得到了深入研究。但是，由于早期人们只能通过摄谱的方法得到物质的近红外光 谱。而在近红外光谱区，吸收带的相互重叠严重，灵敏度相对较低，对谱带的分 辨相当困难，使得人们对近红外光谱的研究止步不前，近红外光谱区成为了“一 个被遗忘的光谱区”。 2 0 世纪5 0 年代中期w i l b u rk a y e 发表的两篇关于近红外光谱基本理论和仪 器设备的重要论文才为近红外光谱技术奠定了实际应用基础。1 9 5 7 年，g o d d u 应用近红外光谱法测定了有机化合物中的不饱和烃含量。1 9 5 9 年，w h e e l e r 详细 讨论了x h ( x = c 、n 、s 、o 、p ) 基团的近红外光谱吸收带，指出近红外光谱 不仅可以用来研究氢键，还可以用来鉴定位置结构化合物的存在及对不同结构基 团进行定量分析，并在1 9 6 0 年公布了近红外光谱的结构关系表及近红外光谱在 有机功能团定量分析中的应用。 1 9 5 5 年到1 9 6 5 年是n i r 研究的复兴时期，很多先创工作都在那个时期开始 的。1 9 6 8 年，n o r r i s 和b e n g e r a 将多元线性回归技术应用于近红外光谱分析， 使得近红外光谱分析技术进入了一个新的发展阶段，他们的杰出贡献建立了现代 近红外光谱分析的基础。此后，近红外光谱分析的大量研究工作集中在近红外光 浙江大学硕十学位论文 谱的各种校正技术上。 1 9 7 1 年，第一台商用近红外分析仪诞生，该分析仪可以测量谷物的湿度、 蛋白质、淀粉和油含量。之后近红外光谱技术很快便应用于饲料、烟草等农副产 品分析，开始成为一种实用的分析技术。 8 0 年代后，计算机技术的迅速发展、化学计量学科的产生以及仪器制造技 术的进步，成为近红外光谱技术发展的转折点。数字化光谱仪器和化学计量学方 法的结合产生了现代近红外光谱技术，对近红外光谱技术的研究也步入高潮。 9 0 年代以来，近红外光谱在各个工业领域得到应用，由于其在常规光纤中 良好的传输特性，近红外光谱进入在线分析领域，并取得了很好的经济效益，近 红外光谱技术进入了全面快速的发展时期。 1 2 2 近红外光谱分析技术的物理学原理 分子由原子组成，原子又由原子核和围绕它旋转的电子所构成。根据量子力 学理论，分子中存在电子能级和振动一转动能级。当电子能级和振动一转动能级 发生跃迁时，就会产生分子吸收光谱或分子发射光谱，表现为带状光谱。如果分 子能级是由基态跃迁到激发态，产生吸收光谱；反之，则产生发射光谱。分子吸 收或发射光的频率可以由波尔方程表示： e ”一e = h v = h c a( 1 1 ) 其中，f 为激发态能级， e 为初始态能级， h = 6 6 2 5 1 0 。4 ( i ，s ) 为普朗克常数， c = 3 1 0 8 ( m 5 ) 是光速， v 为吸收或发射光的振动频率， 五为吸收或发射光的波长。 同时，光具有波粒二相性。根据量子学理论，光的能量与光的频率有关： e 。= h v( 1 2 ) 其中，v 为光的频率。 物质对光的吸收是由于光予与物质分子相互碰撞使得某些分子振幅增大，引 起分子振动能级的变化而产生的。分子振动的能级满足下列形式： 1 。谐振情况 b = ( 矿+ 1 2 ) 向”删( v = 0 ，1 ，2 ，) ( 1 3 ) 2 非谐振情况 e v “( v + 1 2 ) h v o s c 一( v + 1 2 ) 2 h v o s c x e( v = 0 ，1 ，2 ，) ( 1 4 ) 其中，v 为振动量子数， 4 第一章近红外光谱分析技术 h 为普朗克常数， v o s c 是振动频率， 。为非谐振相关常数。 振动量子数代表了振动的能级，如非谐振时v = 0 ，其能量为 晶= 1 2 h v o s c 一( 1 2 ) 2 h v o s c 瓦是最低的振动能量级，即基态；v = 1 时，能量为 e = 3 2 h v o s c 一( 3 2 ) 2 h v o s c x e 是第一激发态；同理，v = 2 ，3 ，时分别为第二、 第三激发态等能级，分子在这些能级间跃迁就需要吸收能量。对于多原子分子， 分子的能级相当多，理想情况下，可以将多原子分子看作是由一系列独立的双原 子谐振予构成。 通常情况下，分子大多处于基态振动，如果分子吸收红外光从基态到跃迁到 第一激发态( v = 0 到y = 1 ) ，所产生的吸收带称为基频吸收带；而从基态到第 二、三等更高的激发态的跃迁所产生的吸收带称为泛频吸收带；如果从基态同时 跃迁到多个第一激发态，所产生的吸收带称为组频吸收带。 表1 1 常用光谱区及其特征 光谱区波t + n m特征 紫外光( u v ) 1 9 0 3 6 0 离域 电子跃迁 可见光( v i s )3 6 0 7 0 0电子跃迁 近红外光( n i r ) 7 0 0 2 5 0 0分子振动的泛频和组频 中红外光( m i r )2 5 0 0 4 x1 0 4分子的基频振动( 伸缩、弯曲、扭曲) 远红外光( f i r ) 4 1 0 4 1 0 6 分子的转动 不同频率的光与物质分子会有不同的特征，表1 1 给出了不同的电磁波谱区 的特征。在近红外区，吸收带主要是由含氢化学基团的振动的泛频和组频所致， 比如甲基、亚甲基、次甲基、芳基、羟基、氨基等等。近红外光一般可划分为近 红外短波( 7 0 0 l l o o n m ，也称h e r s c h e l 区) 和近红外长波( 1 1 0 0 2 5 0 0 n m ) 两 个区域。这两个区域主要反映了含氢基团x h ( x = c 、n 、o 、s 等) 的特征信 息，冈此适合带含氢基团的化合物的定量测定或定性分析。其中，短波区域能观 察到的主要是c h 、o h 的第3 倍频，长波区域能观察的主要是c h 、o h 和n h 的第1 、第2 倍频和组频。 对于近红外光的吸收取决于样品的组成、分子的种类、组分的浓度及分子间 的相互作用等因素。不同的分子由于包含不同的基团而吸收不同频率的近红外 光；同一分子浓度不同，则会有不同数量的分子从基态发生跃迁，从而吸收不同 景的近红外光能量。因此，在近红外光的吸收光谱中不仅包含物质组成的信息， 而日包含了组分浓度的信息。但由于近红外光谱的谱带较宽，且相互重叠严重， 使光谱的分辨比较困难。新的多元校j 下方法克服了近红外光谱的这些缺j 囊，扩大 浙江人学硕士学位论文 了近红外光谱的应用范围。 1 2 3 近红外光谱分析技术的特点 近红外光透光率高、漫反射低，可以适合较长的光程。现有的固态高灵敏快 速检测器可以保证很高的信噪比和快速分析的要求。近红外光谱技术之所以成为 一种快速高效的分析技术除了上述原因外还有其自身的技术特点。 1 绿色分析技术。近红外光是电磁波，不损伤试样，是典型的无损分析技 术。同时，测量过程不需要其他化学试剂，是安全的绿色分析技术； 2 测量方便，样品不需预处理。由于近红外光有较强的穿透力和散射效应， 且可选用透射、漫反射等多种测量方式，可以对固体、粉末、胶体、液 体、溶液和气体等各种状态的试样直接进行测定。 3 分析效率高。通过一次对样品的光谱测量，可以同时对样品的多个组成 或性质进行测定，从而取代多台传统分析仪。 4 分析速度快。一次测量一般在1 分钟左右，可以应用于实时控制。 5 分析成本低。一台近红外仪器可以替代多台监测仪，从而节省了投资成 本，在近红外光谱分析过程中不消耗样品，除了一点电外基本无其他消 耗，因此几乎不需要花费分析成本。 6 测试重现性好。由于光谱测量的稳定性，其测试结果一般不会受到人为 因素影响，因此表现出更好的重现性。 7 适合在线分析。由于近红外光在光纤中的良好传输特性，通过光纤可以 使仪器远离采样现场。 当然，近红外光谱分析也有其固有的缺点：首先，它的测试灵敏度比较低， 相对误差比较大；其次，由于是一种间接测量手段，需要用参考方法( 一般是化 学分析方法) 获取一定数量的样品数据，因此测量精度永远不能达到该参考方法 的测量精度，建立模型也需要一定的化学计量学知识、费用以及时间；最后，近 红外光谱的测量范围，只适合对含氢基团的组分或与这些组分相关的属性进行测 定，而且组分的含量一般应大于0 1 才。能用近红外进行测定。 1 3 近红外光谱定量分析 近红外光谱定量分析可以分为校正( c a l i b r a t i o n ) 和预测( p r e d i c t i o n ) 两个 步骤，如图1 1 所示。b e e b e ( 】9 9 8 ) 将光谱定量校正( q u a n t i t a t i v es p e c t r o s c o p i c c a l i b r a t i o n ) 定义为“建立一个用来预测未知样品某些属性值的模型的过程”。从 这个定义可以看出，定量校正要做的是用数学方法建立一个模型，将样品的某个 化学组分( 有时是某一个属性) 的含量与样品的光谱数据相关联。而建立一个校 第一章近红外光谱分析技术 正模型的前提条件是有一定数量的训练样品，从而获得一组训练数据。为此，必 须先准备与待测样品同类的一组训练样品，并做两件事情， 1 测定样品待测组分的浓度( 或其他属性值) r ； 2 测取样品的近红外光谱数据x 。 这两步都必须认真的完成，多次测量保证其数据的可靠性。是用近红外 光源通过样品后由光谱仪测到的透射光强，而】，是样品的一个或多个属性值。通 常r 用化学方法分析得到，这种方法作为近红外光谱分析法的参考方法 ( r e f e r e n c em e t h o d ) 必须有很高的测量精度，才能尽可能减少带入到模型中的 误差，从而提高近红外光谱测量结果的准确性。建立校正模型的过程同时也是校 正仪器的过程，近红外光谱仪器由于分光类型、检测器类型等不同而具有不同的 测量结果，即使两台类型的仪器对于同一样品所测得的光谱数据也有差异，因此， 近红外光谱校正模型通常是为一台仪器量身定做的。也就是说对于同一批训练样 品y 是一样的，但两台近红外仪器的x 是不相同的。建立校正模型所用的光谱数 据必须由该模型将来要应用的近红外仪器测量得到，这样建立的校正模型爿能适 用于这台仪器。 校正过程 预测过程 1 3 1b e e r 定律 图1 1 近红外光谱定量分析原理图 b e e r 定律，又穆l a m b e r t b o u g u e r - b e e r 定律是光谱定量分析的理论基础。根 据浚定律，溶液对辐射光的吸收程度与溶液的浓度c 以及光线通过该溶液的路程 五成正比。 a = 占c ，l ( 1 5 ) 其中，一是吸光度； c 是组分的摩尔浓度( 单位：t o o l ，。) ； 浙江大学硕士学位论文 三是光通过溶液的路程( 单位：c m ) ，当光程固定时是常数； 占是摩尔消光系数( 单位：，m o l - 1c m _ 1 ) ，它与溶液的性质、温度以及 入射光波长等因素有关。由于处于不同化学环境的相同键结构基团受其相邻化学 键和相邻基团的影响，其占是不同的。 根据b e e r 定律，以透射形式为例，可以用以下- 几个简单步骤，就可以进行 近红外光谱的定量校正和预测分析了， s t e p i 固定光程确定三，测量无样品时获得的近红外光透射能量( 记为) ； s t e p 2 放入一个已知浓度的样品，在不改变光程的情况下测量透过的近红外 光辐射能量( 记为i ) ： s t e p 3 计算透光度t = i i 。； s t e p 4 计算吸光度a = l o g l o ( 1 t ) ： s t e p 5 根据式1 5 ，由于，和c 都已知，可以计算出消光系数占： s t e p 6 更换另一个未知浓度的样品，重复以上方法测得该样品的吸光度a ； 在式1 5 中，光程已知，消光系数已由以上步骤计算得出，将4 代 入式1 5 可得该样品的组分浓度c 。 以上步骤用经典的b e e r 定律方法进行物质某一组分的定量分析，但是直接应 用b e e r 定律具有很大的限制性，因为使用该方法必须满足很多的假设条件。如 样品中其他组分对近红外光不吸收或者其吸收带与待测组分的吸收带无重叠：样 品中各种组分不会发生化学反应且待测组分浓度不随时间发生变化：光谱仪具有 足够的抗噪声能力以及对辐射能量具有线性响应等。 实际应用中，样品往往具有很多种组分，且各种组分对近红外光的吸收带是 互相重叠的。同一类型的样品也可能由于形状大小、温度等物理性质的不同而产 生对近红外光的不同吸收。近红外光谱仪器也会有一定的噪声、漂移和非线性等 影响。因此，一个特定波长的光谱数据很难代表样品中某组分对近红外光的真实 吸收，从而选用一个波长的b e e r 定律方法就无法获得较为准确的分析结果 在近红外光谱定量分析中，待测样品浓度与吸光度之间还符合另一个基本定 律：吸光度加和定律。吸光度加和定律说明如果在某一波长九，样品溶液中含有 多种对光产生吸收的物质，那么该溶液对该波长光的总吸光度应该等于溶液中每 一成分的吸光度之线性加和。 上 a s = a 1 + a 2 + + a 。= a 。 ( 1 6 ) i = 1 吸光度加和定律是多组分混合体系对光吸收的重要性质，是对多组分混合体 系进行定量分析的理论依据。 近红外光谱重叠比较严重，一个特定波长处的光谱数据不仅仅代表某个基团 的信息，还会包含其他基团的信息，因此，对于物质中某组分的定量分析，必须 第一章近红外光谱分析技术 取多个波长进行分析。 1 3 2 训练样品数据采集 近红外光谱定量分析是一种间接分析技术，在测量之前必须有一组用于建立 校j f 模型的训l 练样品( 也称标准样品) 。通常训练样本的收集具有一定的随机性， 并不是每个预先测得的样本数据都适合用来建立校正模型。只有对样本进行筛 选，尽可能保留对模型有用的样本，最后校正模型才能获得较高的准确性和鲁棒 性。对样本筛选应尽量遵循以下两个原则， 1 训练样品与以后要预测的样品必须本质相同 洲练用的样品应该在组成性质上与待测的样品基本相同，这样由训练样品建 立的校正模型才对待测样品具有适用性，这就意味着必须收集与待测样品同类的 真实样品。虽然现在有一些公布的近红外光谱数据资料，但那些数据往往不能在 别的地方适用。如果近红外分析是对某个采样点的样品进行分析，比如化工生产 中的原料、中间产品或成品，则可以在这些采样点搜集训练样品，以保证与待测 样品物化性质相近。 2 训练样品的y 值分布范围应该覆盖待测样品的y 值变化范围 如果y 值是样品的某个组分浓度，则训练样品集内的样品y 值分布范围应 该尽可能大，使得待测样品的y 值变化都落在训练样品的覆盖范围之内。除了 待测的这个组分浓度y 值外，训练样品的其他不需要测量的组分浓度最好也满 足这个要求。原因是各组分之间相互影响的因素在训练样品中存在，则校正模型 即会对这些因素进行必要计算和校正。在实际应用中，做到完全覆盖有些困难， 通常尽可能搜集足够多的训练样品，并没有一定的标准。 一个用于校正的训练样品需要测量防，】， 两个数据，其中y 由参考方法测 得。通常将测得的训练样品参考数据认为是“真实值”，但参考数据中也存在一定 的误差，其大小由参考方法的测量精度决定。原理上，近红外光谱定量分析的结 果，其精度永远不会高于参考方法的测量精度，因此，参考数据中的误差要尽量 减小。如果所用的参考方法消耗时间和代价不是很高的话，通常的做法是将每个 训练样品二等分，然后分别去做化学分析，在不同的时间，用不同的实验装置甚 至可以用不同的参考方法。这样做有两个目的，首先，可以评估参考方法的测量 精度，从而选择合适的参考方法；其次，两个测量结果取平均可以降低测量噪声， 获得比单次测量更准确的数据。 1 3 - 3 近红外光谱预处理 虽然近红外光谱分析不需要对样品进行预处理，但在建立校正模型之前必须 浙江大学硕士学位论文 对获得的光谱数据进行预处理。仪器采集的原始光谱中除了包含与样品组成有关 的信息外，也包含来自各方面阏素产生的噪声信号。这些噪声信号会对谱图信息 产生干扰，有些情况下还会非常严重，从而影响校正模型的建立和对未知样品的 预测效果。预处理主要解决的是对光谱噪声的滤除、数据的筛选、光谱范围的优 化以及消除其他因素对谱图信息的影响，为下步校正模型的建立和未知样品的准 确预测打下基础( 徐广通等，2 0 0 0 ) 。根据不同的应用实际，通常会采用一些不 同的预处理技术对光谱数据进行预处理。 平滑( s m o o t h i n g ) 可以有效的消除谱图中的高频信号( 仪器噪声) 而保留 低频信号( 有用信息) ，经过平滑处理后的数据信噪比会有明显提高。计算平滑 的方法通常有傅立叶变换、奇异值分解等，但常用的是卷积平滑方法。卷积平滑 是s a v i t z k y 和g o l a y ( 1 9 6 4 ) 提出的一种简单的移动窗口最小二乘拟合的方法计 算平滑数据，由于该方法大大提高了计算速度，因此被广泛应用于光谱数据的平 滑处理。这种方法的缺点是会损失数据，g o r r y ( 1 9 9 0 ) 基于g r a m 多项式的递 推性质用卷积方法进行最小二乘平滑，从而克服了这个缺点。采用卷积平滑要注 意窗口大小，过度的平滑会丢失有用的光谱信息。 微分作用( d e r i v a t i v e s ) ，一阶和二阶微分常被用于现代光谱技术特别是近红 外光谱数据的处理( m a r k ，2 0 0 3 ) 。微分可以分离重叠在一起的波峰，线性背景 在一阶微分后变成常数，在二阶微分后则变为零值。但是微分作用会放大噪声， 因此在进行微分前需要对原始数据进行平滑处理。计算微分的方法中最常用的也 是s a v i t z k y g o l a y 卷积方法，k i t a m u r a ( 1 9 8 7 ) 对光谱的二阶微分处理作用进行 了深入研究，而b r o w n ( 1 9 9 9 ) 对该方法在多元校正中的危害作了分析。 多元散射校正技术( m u l t i p l i c a t i v es c a t t e rc o r r e c t i o n ，m s c ) 是由m a r t e n s 等 人( 1 9 8 9 ) 提出的，用于消除固体颗粒大小对校正模型的影响作用。这种方法的 基本思想是对每个光谱进行旋转，使得它们尽可能靠近所有光谱的平均值。 标准正态变量( s t a n d a r d n o r m a lv a r i a t e ，s n v ) 变换是由b a r n e s 等人( 1 9 8 9 ) 提出的一种用于消除光谱中斜度误差和固体颗粒大小不均的预处理方法。这种变 换将每个光谱减去平均值后再除以光谱的标准差，使得处理后的数据满足正态特 性。 光谱仪测得的光谱数据维数很高，在多元线性回归等非全谱的定量校正方法 中，为了防止过拟合，光谱数据的维数必须小于样品数目，因此必须对光谱数据 进行压缩。一般认为采用全谱方法无需对波长进行选择，而实验结果表明，在建 模之前对光谱信息进行选择对减少噪声信号的影响，提高运算效率和模型稳定性 都是有益的( 徐广通等，2 0 0 0 ) 。在保持谱图有用信息的前提下，选择不同范围 的波k ，提取适当维数的光谱数据建立模型，这个过程称为波长选择( w a v e l e n g t h s e l e c t i o n ) 或特征选择( f e m u r es e l e c t i o n ) 。 波长组合法，根据光谱数据与待测属性之间的卡日关度以及光谱数据之间的相 第一章近红外光谱分析技术 关度，显式地提取若干个波长处的光谱数据作为模型的输入变量。提取的方式有 很多，有寻找固定数量的波长、向前选择、向后剔除等方法。 主成分分析( p r i n c i p a lc o m p o n e n t s a n a l y s i s ，p c a ) 是常用的特征变量选择方 法，该方法将光谱数据压缩成少数几个互不相关的“主成分”变量( 原变量的线性 组合) ，在保留了信息的同时达到了降低维数的目的。 傅立叶变换( f o u r i e rt r a n s f o r m a t i o n ，f t ) 将任何曲线转换成一组s i n e 和c o s i n e 曲线的叠加。c o o l e y 和t u r k e y ( 1 9 6 5 ) 提出的快速傅立叶变换( f a s tf o u r i e r t r a n s f o r m a t i o n ，f f t ) 算法使得傅立叶变换可以在微机上实现，从而使得傅立叶 变换得以广泛应用。光谱数据经过傅立叶变换后，大部分光谱信息由少数大的 s i n e 波形所表达，而小的s i n e 波则代表误差，通过这种变换可以大大减少数据量 和减少误差。 w uw e n 和r u t a n 等人( 1 9 9 6 ) 则提出用k a l m a n 滤波的方法进行特征变量选 择，k a l m a n 滤波是一种迭代的最小二乘拟合技术，模型参数可以迭代计算且不 需要用到矩阵求逆的运算。 正交信号校正技术( o r t h o g o n a ls i g n a lc o r r e c t i o n ，o s c ) 是w o l d 等人( 1 9 9 8 a ) 提出了一种光谱预处理方法，该方法的基本思想是在原光谱数据中剔除与待测属 性不相关的光谱数据变量。f e u d a l e 等人( 2 0 0 2 ) 则用递推正交信号校正技术 ( p i e c e w i s eo s c ) 对近红外光谱数据进行了处理，从而提高了校正模型的质量。 遗传算法( g e n e t i ca l g o r i t h m ，g a ) 是一种新型的搜索算法，r i m b a u d ( 1 9 9 5 a ) 、 b a n g a l o r e ( 1 9 9 6 ) 、l e a r d i ( 1 9 9 8 ) 以及褚小立( 2 0 0 1 ) 等人都对该方法在特征 筛选中的应用作了深入研究，通过遗传算法可以选出一组最优的变量组合，但是 浚算法的计算量比较大。 小波( w a v e l e t ) 分析也被用来去除噪声和压缩数据，小波分析用傅立叶变化 的思想对数据进行压缩，同时也兼顾了尖峰的处理。t r y g g ( 2 0 0 2 1 对小波分析 在去除噪声和特征提取中的应用作了详细阐述和总结。 1 3 4 多元校正技术 早期的光谱仪只用来对单个组分进行定量校正，通常先找到该组分的特征波 氏，选择该波长的滤光片对近红外光源进行滤光，因此得到的物质吸收光谱数据 只是一维的单波长数据，利用简单最小二乘方法就可以在这个数据和待测属性之 间建立一元回归方程。但通过光谱仪得到的光谱可能受到各方面的因素影响，利 用单一波氏下获得的光谱数据很难获得准确的定量分析结果。 现代光谱分析的应用也已经远远超过b e e r 定律描述的那种一个组分与该组 分对应的一个特征波长数据之间的简单关联，而是有多个待测组分以及许多波长 的光谱数据之问的复杂关联，因此需要用到多元校正技术。多元校正技术是化学 浙江大学硕十学位论文 计量学学科的一个重要组成部分，光谱工作者近年来对近红外光谱技术的研究也 主要是对多元校正技术应用的研究。 n o r r i s ( 1 9 6 8 ) 首先将多元线性回归技术( m u l t i v a r i a t el i n e a rr e g r e s s i o n ，m l r ) 用于建立近红外光谱的定量校f 模型，并成功地预测了谷物的多种成份。这一首 创带来了近红外光谱技术的复苏，使得近红外光谱技术开始成为实用可行的分析 技术。至今m l r 仍是近红外光谱分析中最常用的多元校f 技术之一，m l r 是一 种多波氏校难技术，建立模型前需要对波长进行选择。 岭回归( r i d g er e g r e s s i o n ，r r ) 也是一种常用的回归技术，r r 是一种修正 的最小二乘估计法，克服了多元线性回归中可能出现的矩阵奇异现象。改进的加 权岭回归( w e i g h t e dr i d g er e g r e s s i o n ) 则比传统的岭回归更加反映物质的真实 化学信息，并且具有更快的计算速度。c h u n gh o e i l 等人( 2 0 0 1 ) 就用r r 结合 近红外光谱测定过汽油辛烷值。 主成分回归( p r i n c i p a lc o m p o n e n tr e g r e s s i o n ，p c r ) 技术被引入到光谱分析 中，成为最常用的定量分析技术之一。光谱数据经过主成分分析后被分成含信息 的主成分和其他噪声部分，用主成分代替原始光谱数据建立校正模型继承了原始 数据的有用信息并且降低了噪声影响。w e n t z e l l 等( 1 9 9 7 ) 结合极大似然估计和 p c r 提出了极大似然主成分回归( m a x i m u ml i k e l i h o o dp r i n c i p a lc o m p o n e n t s r e g r e s s i o n ，m l p c r ) 和极大似然特征根回归( m a x i m u ml i k e l i h o o dl a t e n tr o o t r e g r e s s i o n ，m l l r r ) 两种校正方法，并与常规的p c r 等校正方法作了比较。 偏最小二乘( p a r t i a l l e a s ts q u a r e s ，p l s ) 回归由h e r m a n w o