（通信与信息系统专业论文）基于主机用户行为的入侵检测技术研究.pdf

摘要 随着计算机技术和网络技术的迅猛发展，计算机系统已经从独立 的主机发展到复杂的、互联的开放式系统，这种情况导致计算机及网 络的入侵问题越来越突出。入侵检测技术作为一种有效的防护手段成 为网络安全领域研究的热点。针对这种情况，本文详细研究了基于主 机用户行为的入侵检测，并着重对检测算法等关键技术进行了阐述。 论文首先简要介绍了现有的入侵检测方法与技术，然后对主机用 户行为的特征数据选取做了系统的研究。针对l i n u x 与w i n d o w s 不同 的操作环境，在l i n u x 环境下采用了基于主机日志的数据获取方法： 在w i n d o w s 环境下采用了利用d e t o u r s 库获取w i n d o w sa p i 函数调用 的方法。通过对不同的操作环境下用户行为特征数据的获取分析，本 文论述了用户行为特征数据库建立的过程，并就过程中数据的标准化 环节与过滤环节进行了详细的阐述。 接着，论文对检测算法进行了研究。检测算法是入侵检测中的一 个难点，也是本文的一个重点。大多数的入侵检测都会以用户命令序 列的分析作为开始。事实上这已经成为了入侵检测技术分析的一个逻 辑步骤。这种分析与序列分析有着很大的相似性。通过对序列分析与 入侵检测分析相似性的研究，本文按照入侵检测的特点，对序列比较 中的s m i t hw a t e r m a n 算法进行了改进，算法的改进包括得分函数的 特殊设置和比对数据的选取设置。最后本文使用标准数据与收集数据 对改进算法进行了测试，就阈值选取、记分函数选取和实验结果参数 分析三个方面对算法进行了分析。通过对已有的六种测试算法的分析 与比较，本文提出的改进匹配算法能够有效的提高命中率( h i tr a t e ) ， 并能有效应用于实际检测中。 关键词：入侵检测，用户行为数据，序列分析，检测算法 a b s t r a c t 嘞t h er a p i dd e v e l o p m e n to fc o m p u t e ra n dn e t w o r kt e c h n o l o g i e s 。 c o m p u t e rs y s t e mh a sb e e nd e v e l o p e dt oac o m p l i c a t e da n di n t e r c o n n e c t e d o p e n i n gs y s t e m ，w h i c hr e s u l ti nm o i ls e r i o u sp r o b l e m so fi n t r u s i o n d e t e c t i o n i n t r u s i o nd e t e c t i o nt e c h n o l o g ya sa ne f f e c t i v em e a s u r ei s b e c o m i n gah o t s p o to f n e t w o r ks e c u r i t ya r e a s u h d e rs u c hc o n d i t i o n t h e r e s e a r c h i n go fi n t r u s i o nb a s e do nu s e rb e h a v i o rd a t af r o mh o s ti s i n t r o d u c e di nd e t a i l si nt h i sp a d e la n ds o m ek e yt e c h n o l o g i e ss u c ha s a l g o r i t h mo fd e t e c t i o na r ea n a l y z e da n dd i s c u s s e d f i r s t ，g e n e r a la n a l y s i so ft h et e c h n o l o g i e sa n dt h em e t h o d so ft h e i n t r u s i o nd e t e c t i o na r em a d ei nt h i sp a p e r , t h e nt h er e s e a r c ho fu s e r b e h a v i o rd a t af r o mh o s ti sg i v e n b a s e do nt h ed i f f e r e n c eo fo p e r a t i n g s y s t e m ，w eu s et h e d i f f c r e n tm e t h o d s i nl i n u x , w eu s et h e1 0 9 i n f o r m a t i o n i nw i n d o w s w eg e ta p if u n c t i o nb yu s i n gt h ed e t o u r s b y a n a l y z i n gt h ed a t af r o md i f f e r e n to p e r a t i n gs y s t e m , t h ep a p e rd i s c u s s e s t h ep r o c e s so fs e t t i n gu pt h ed a t a b a s eo fi n t r u s i o nd e t e c t i o n t h ep r o c e s s o fs t a n d a r d i z a t i o na n df i l t r a t i o na r ea n a l y z e da n dd i s c u s s e di nt h i sp a p e r 1 1 1 e n w ea n a l y z et h ea l g o r i t h mo f d e t e c t i o n t i l i sa l g o r i t h mi sah a r d p o i n td u r i n gt h ei m p l e m e n t a t i o no fs y s t e ma n da l s oak e yp o i n ti nt h i s p a p e r m o s to ft h ei n t r u s i o nd e t e c t i o ni sb e g i n n i n ga tt h ea n a l y s i so fu s e r c o m m a n ds e q u e n c e i nf a c t , i tb e c o m e sal o g i cp r o c e s so fi n l r u s i o n d e t e c t i o n t h i sk i n do fa n a l y s i si ss i m i l a rt os e q u e n c ea l i g n m e n t b a s e d o nt h er e s e a r c ho ft l l i s c o m p a r a b i l i t y , w eu s et h ec h a r a c t e r i s t i co f i n t r u s i o nt om o d i f yt h es m i t hw a t e r m a na l g o r i t h m t h i sm o d i f i e d a l g o r i t h mi sc o n s i s t i n go fs p e c i a ls e t t i n go fs c o r ef u n c t i o na n dt h es p e c i a l c h o o s i n go f t r a i n i n gd a t a a tl a s t , w et e s tt h ea l g o r i t h mw i t hs t a n d a r dd a t a a n dt h ec o l l e c t i n gd a t a , a n dw ea n a l y z et h er e s u l ti nc h i e f l yt h r e ea s p e e t q ： t h ec h o o s i n go ft h r e s h o l d t h ec h o o s i n go fs c o r ef u n c t i o na a d 纽曲 p a r a m e t e r so ft h i st e s t i n g b yc o m p a r eo fs i xd i f f e i i n ta l g o r i t h m s ，o u r m o d i f i e da l g o r i t h mc a nr a i s et h eh i tr a t ee f f e c t i v e l ya n dc a nb eu i n r e a l t i m ed e t e c t i o n j k e yw o r d s ： i n t r u s i o n d e t e c t i o n ，u s e rb e h a v i o rd a t a , s e q u e n c e a l i g n m e n t ，d e t e c t i o na l g o r i t h m 。原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在在论文中作了明确的说 明。 作者签名：垒垒 日期：竺年三月旦日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：盟导师签笤堑塑日期：兰! 盘年三月旦日 硕士学位论文 第一章绪论 第一章绪论 本章主要介绍了本文研究的背景和意义，概述了入侵检测技术的研究进展和 现状，列举了本文研究的主要成果和所作的工作，最后说明了全文的内容安排。 1 1 课题研究背景与意义 随着网络技术的发展和应用范围的扩大”1 ，特别是国际互联网i n t e r n e t 的 迅速发展大大地改变了以单机为主的计算模式，人们越来越依赖于网络来进行迅 速的信息访问和对不同来源的数据的快速搜集和整理。一方面，网络提供了资源 的共享性提高了系统的可靠性，并且通过分散工作负荷提高了工作效率，具有可 扩充性特点。但另一方面也正是资源的共享和分布这些特点，急剧增加了网络安 全的脆弱性和网络遭受攻击的可能性和风险性。 网络入侵是指任何试图破坏资源完整性、机密性和可用性的行为1 ，包括用 户对系统资源的误用。相对于传统的破坏手段而言，网络入侵具有以下特点：( 1 ) 网络入侵不受时间和空间的限制。从理论上说，入侵者可以在任意时刻通过任意 一个网络节点向另一个网络节点发动快速而有效的攻击，而不必考虑这两个节点 实际地理位置之间的距离远近；( 2 ) 通过网络的攻击往往混杂在大量正常的网络 活动之中，具有较强的隐蔽性：( 3 ) 入侵手段复杂多样，阶段式、分布式等新的 入侵手段的出现，使得入侵活动更具有隐蔽性和欺骗性；( 4 ) 与传统的破坏手段 相t b ，网络入侵具有更大的危害性。在网络被广泛使用的今天，越来越多的公司、 企业和各级行政机关正逐步将其核心业务向互联网转移，一次成功的网络入侵给 这些企事业单位所带来的损失将会是灾难性的。据统计，几乎每2 0 秒全球就有 一起黑客事件发生，仅美国每年所造成的经济损失就超过1 0 0 亿美元。 目前解决网络安全问题所采用的方法一般包括防火墙、数据加密、身份认证 等。这些措施对于那些企图通过正常途径攻击系统的行为具有较好的防范作用， 但对那些采用非正常手段，利用系统软件的错误或缺陷，甚至是利用合法的身份 进行危害系统安全的行为却显得无能为力。由于系统规模和复杂性的提高而导致 的系统软件本身所存在一些安全漏洞以及网络协议本身在设计上所存在一些安 全隐患，为网络入侵者提供了许多可供选择的非正常入侵途径。因此，除了采用 诸如防火墙之类的一般工具外，研究开发能够及时准确对入侵进行检测并做出响 应的网络安全防范技术，即入侵检测技术( i d s ，i n t r u s i o nd e t e c t i o ns y s t e m ) ， 己经成为网络安全领域中最主要的研究方向。 硕士学位论文第一章绪论 入侵检测技术作为一种主动的安全技术“1 ，它克服了防火墙等传统安全技术 无法有效地识别来自内部的入侵，以及不能主动地采取相应的安全策略的不足， 成为目前网络安全技术研究的热点。随着网络规模的不断扩大和网络技术的高速 发展，网络的入侵技术和手段也在不断地更新，这对入侵检测技术提出了新的挑 战。尽管入侵检测技术还不成熟，并且不能作为功能完备的防卫手段，但我们认为 在整个安全体系中，它仍然担任一个非常重要的角色。 入侵是指任何故意违反系统安全规则的事件或活动“”。而入侵检测系统是对 计算机系统和网络进行监测，以发现违反安全策略的入侵活动或事件以及在响应 处理任务过程中所需要的计算机软件与硬件的组合。目前，入侵已成为严重的社 会问题。电子商务站点成为各种攻击的目标，攻击的方法由早期简单侵入攻击而 变得更为复杂，如d o s ( d e n i a lo fs e r v i c e ) 、嵌入( i n s e r t i o n ) 攻击等。入侵 背后也潜伏着商业、政治和军事目的。早期的入侵者大都具有相当高的专业知识， 而如今任何人都可以在网上轻易得到入侵工具，实施入侵行为。因此，必须设计系 统的安全机制以保护系统资源与数据以防恶意入侵，但是企图完全防止安全问题 的出现，现在看来是不现实的。我们可以尽力检测出入侵行为，以便在稍后修补这 些漏洞。入侵检测作为安全技术主要目的有：( 1 ) 识别入侵者；( 2 ) 识别入侵行 为；( 3 ) 检测和监视已成功的安全突破：( 4 ) 为对抗措施及时提供重要信息支持。 从这个角度看待安全问题，入侵检测非常必要，它将弥补传统安全保护措施的不 足。 多年来，有许多研究机构和大学，如著名的s t a n f o r dr e s e a r c hi n s t it u t e i n t e r n a t i o n a l 、p u r d u eu 2 n i v e r s i t y 和i b m 等一直从事入侵检测技术的研究， 虽然入侵检测技术有了一定的提高，但还很不成熟，它们各自存在着不足，最大的 不足就在于现有入侵检测技术不能检测新的未知攻击或入侵。因此，运用新技术、 新学科加强对入侵检测技术进行研究十分必要。 因此，对该课题的研究具有重要的理论意义和现实意义。 1 2 国内外研究现状 入侵检测的研究最早可追溯到j a m e sa n d e r s o n 在1 9 8 0 年的工作，他首先 提出了入侵检测的概念，将入侵尝试( i n t r u s i o na t t e m p t ) 或威胁( t h r e a t ) 定义为：潜在的有预谋未经授权访问信息、操作信息、致使系统不可靠或无法使 用的企图。在该文中，a n d e r s o n 提出审计追踪可应用于监视入侵威胁。但由于当 时所有已有的系统安全程序都着重于拒绝未经认证主体对重要数据的访问，这一 设想重要性当时并未被理解。1 9 8 7 年d o r o t h yd e n n i n g 提出入侵检测系统的抽 象模型，首次将入侵检测的概念作为一种计算机系统安全防御问题的措施提出， 硕士学位论文 第一章绪论 与传统加密和访问控制的常用方法相比，入侵检测系统是全新的计算机安全措 施。 1 9 8 8 年的m o r r i si n t e r n e t 蠕虫事件使得i n t e r n e t 近5 天无法使用。该事 件使得对计算机安全的需要迫在眉睫，从而导致了许多入侵检测系统的开发研 制。早期的入侵检测系统都是基于主机的系统，也就是说通过监视与分析主机的 审计记录检测入侵。在1 9 8 6 年为检测用户对数据库异常访问在i b m 主机上用 c o b o l 开发的d i s c o v e r y 系统可说是最早期的入侵检测系统雏形之一。1 9 8 8 年，t e r e s al u n t 等人进一步改进了d e n n i n g 提出的入侵检测模型，并创建了i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) ，该系统用于检测单一主机的入侵尝试， 提出了与系统平台无关的实时检测思想。同年，为了协助美国空军安全官员检测 误用，空军基地使用的u n i s y s 大型主机开发了h a y s t a c k 系统；同时，出现了为 美国国家计算机安全中心m u l t i a s 主机开发的m i d a s ( m u l t i c si n t r u s i o n d e t e c t i o na n da l e r t i n gs y s t e m ) 。 1 9 9 0 年是入侵检测系统研究发展史上的一个分水岭。这一年，加州大学戴 维斯分校的l t h e b e r l e i n 等人开发出了n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 。 该系统第一次直接将网络流作为审计数据来源，因而可以在不将审计数据转换成 统一格式的情况下监控异种主机。从此之后，入侵检测系统发展史翻开了新的一 页，两大阵营正式形成：基于网络的入侵检测系统和基于主机的入侵检测系统。 混合型的入侵检测系统可以弥补一些基于网络与基于主机的片面性缺陷。此外， 文件的完整性检查工具也可看作是一类入侵检测产品，现在很多基于主机的入侵 检测系统都集成了这个功能。 1 9 9 1 年，n a d i r ( n e t w o r ka n o m a l yd e t e c t i o na n di n t r u s i o nr e p o r t e r ) 与d i d s ( d i s t r i b u t ei n t r u s i o nd e t e c t i o ns y s t e m ) 提出了收集和合并处理来 自多个主机的审计信息以检测一系列主机的协同攻击。1 9 9 4 年，m a r kc r o s b i e 和 g e n es p a f f o r d 建议使用自治代理( a u t o n o m o u sa g e n t s ) 以便提高入侵检测系 统的可伸缩性、可维护性、效率和容错性，该理念非常符合正在进行的计算机科 学其他领域( 如软件代理) 的研究。另一条致力于解决当代绝大多数入侵检测系 统伸缩性不足的途径于1 9 9 6 年提出，这就是g r i d s ( g r a p h b a s e di n t r u s i o n d e t e c t i o ns y s t e m ) 的设计和实现，该系统使得对大规模自动或协同攻击的检测 更为便利，这些攻击有时甚至可能跨过多个管理领域。近年的主要创新包括： f o r r e s t 等将免疫原理运用到分布式入侵检测领域。1 9 9 8 年r o s sa n d e r s o n 和 a b i d a k h a t t a k 将信息检索技术引进到入侵检测。1 9 9 9 年哥伦比亚大学计算机系 w e n k el e e 把数据挖掘技术应用于入侵检测系研究中。2 0 0 0 年t e r r a nd l a n e 利 用机器学习技术检测入侵。进入2 1 世纪后，入侵检测的开发向实用的方向发展。 硕士学位论文 第一章绪论 许多入侵检测系统在应用上已取得重要成果“”，如美国a t & t 的c o m p u t e r w a t c h ，t r w 的d is c o v e r y ，h a y s t a c kl a b o r a t o r y 的h a y s t a c k 系统，规划研究 组织的信息安全指挥助理( i s o a ) ，l o sa l a m p s 国家实验室的教训和经验( w s ) 和网络异常检测与侵入报告( n a d i r ) 等，其中最为成功的应用系统是s r i 的一系 列系统i d e s 、n i d e s 和e m e r a l d 。s r i 一直为美国的f b i 提供先进的网络安全监 控系统解决方案。 我国在入侵检测技术方面也有一定研究，开发出了一些网络安全产品，如西 安信利网络科技公司的“网络巡警”解决方案、华泰网信息技术有限公司的 i n t e r n e t i n t r a n e t 网络安全预警系统、北京启明星辰科技贸易有限公司的黑 客入侵检测与预警系统、北京时代先锋软件有限责任公司的行天黑客攻击检测工 具等多种入侵检测产品。 目前从事基于主机的入侵检测技术研究是入侵检测研究的热点。基于主机的 入侵检测技术作为一种积极主动的安全防护技术，提供了对内部攻击、外部攻击 和误操作的实时检测，在系统受到危害之前拦截和响应入侵。强大的入侵检测系 统极大地保护了计算机系统，其实时告警为系统安全增加了又一道保障。从信息 安全立体纵深、多层次防御的角度出发，基于主机的入侵检测技术理应受到人们 的高度重视。尽管研究团体己经积极研究二十余年了，但其现状是基于主机的入 侵检测主流仍停留在研究和实验样品阶段，部分产品也是在近期才获得较广泛的 应用。因此基于主机的入侵检测技术在今后必将具有巨大的发展空间。 1 3 研究内容与本文所作的工作 在阅读大量文献资料的基础上。本文从实际应用的角度，对基于主机用户行 为的入侵检测技术进行了较为深入的研究。主要包括以下几个方面( 1 ) 分别就 l i n u x 与w i n d o w s 环境下用户数据的获取做了研究，在l i n u x 环境下采用了基于 主机日志的数据获取方法。在w i n d o w s 环境下利用d e t o u r s 库使用w i n d o w sa p i 函数调用的方法达到数据获取这一目的。( 2 ) 研究了基于用户行为的特征行为数 据库的建立方法与途径，并就过程中数据的标准化与过滤环节进行了详细的探 讨。( 3 ) 分析了序列的相似性概念，引入序列编辑技术，然后就序列比较算法进 行了描述。( 4 ) 按照入侵检测的特点对序列比较中的s m i t hw a t e r m a n 算法加以 改进，算法的改进包括得分函数的特殊设置和比对数据的选取设置。最后使用标 准数据和收集数据对其进行测试，就阈值选取、记分函数选取和实验结果参数分 析三个方面对算法进行了分析。 硕士学位论文 第一章绪论 1 4 论文的组织 论文全文共分五章。 第一章：绪论。本章首先简要介绍了课题的研究背景及其国内外的研究发展 状况，然后叙述了本文的研究内容和所作的工作，最后阐述了论文的组织结构。 第二章：入侵检测技术概述。从入侵检测定义着手，深入分析入侵检测系统 的技术，最后阐述了入侵检测的发展方向与趋势。 第三章：主机用户行为的特征数据选取研究。首先分别就l i n u x 与w i n d o w s 环境下数据的获取做了研究，然后研究了基于用户行为的特征行为数据库的建立 方法与途径，并就过程中数据的标准化与过滤环节进行了详细的探讨。最后举例 说明了数据库的建立过程。 第四章：基于序列比较的匹配算法研究。首先分析了序列的相似性，接下来 引入和分析了编辑序列技术。通过对序列分析与入侵检测分析的相似性研究，按 照入侵检测的特点对序列比较中的s m i t hw a t e r m a n 算法加以改进，最后使用标 准数据和收集数据对其进行测试，就阂值选取、记分函数选取和实验结果参数分 析三个方面对算法进行了分析。 第五章：结束语。对本文研究工作进行了总结，并阐述了下一步的研究工作。 硕士学位论文第二章入侵检测技术概述 2 1 引言 第二章入侵检测技术概述 入侵检测技术是一个比较新的研究领域。从a n d e r s o n 在2 0 世纪8 0 年代首 次提出入侵检测的概念以来，入侵检测技术被逐步研究，并系统化地发展，成为 信息安全体系结构中的一个重要环节。同时，入侵检测技术又是一个比较复杂的 研究领域，它是网络安全技术和信息处理技术的结合。 入侵检测“1 ，顾名思义是对入侵行为的发觉。它通过在计算机网络或计算机 系统中的若干关键点收集信息并对其进行分析，从中发现网络或系统中是否有违 反安全策略的行为和被攻击的迹象。进行入侵检测的软件与硬件的组合便是入侵 检测系统。入侵检测的步骤主要包括数据收集、行为分类和行为报告。图2 - 1 是 入侵检测的步骤图： 图2 - 1 入侵检测步骤图 从图2 - 1 可以看出。总的看来，入侵检测系统的主要功能“”有 ( 1 ) 监测并分析用户和系统的活动； ( 2 ) 核查系统的配置和漏洞； ( 3 ) 评估系统关健资源和数据文件的完整性； ( 4 ) 识别己知的攻击行为； ( 5 ) 统计分析异常行为； ( 6 ) 管理操作系统日志，并识别违反安全策略的用户活动。 硕士学位论文 第二章入侵检测技术概述 对一个成功的入侵检测系统来讲，它不但可使系统管理员时刻了解系统( 包 括程序、文件和硬件设备等) 的任何变更，还能给安全策略的制订提供指南。更 为重要的一点是，它应该管理、配置简单，从而使非专业人员非常容易地获得系 统安全。而且，入侵检测的规模还应根据网络威胁、系统构造和安全需求的改变 而改变。入侵检测系统在发现入侵后，会及时作出响应，包括切断网络连接、记 录事件和报警等。 2 2 入侵检测技术 入侵检测技术主要分为两类：一种基于异常情况( a n o m a l y b a s e d ) ，另一种 误用检测( m i s u s e - b a s e d ) 。目前大部分的检测工具使用的是误用检测技术。异 常检测方法虽然还没有得到广泛的应用，但它是目前入侵检测系统的研究热点。 多数专家认为，最有效的检测方法就是主要使用误用检测方法，再加上一些具有 异常检测功能的组件。 2 2 1 异常检测技术 异常检测技术o ”也被称为基于行为的检测。其基本前提是：假定所有的入侵 行为都是异常的。其原理是：首先建立系统或用户的“正常”行为特征轮廓，通 过比较当前的系统或用户的行为是否偏离正常的行为特征轮廓来判断是否发生 了入侵。而不是依赖于具体行为是否出现来进行检测的，从这个意义上来讲，异 常检测是一种间接的方法。 异常检测的关键问题：( 1 ) 特征量的选择。异常检测首先是要建立系统或用 户的“正常”行为特征轮廓，这就要求在建立正常模型时，选取的特征量既要能 准确地体现系统或用户的行为特征，又能使模型最优化，即以最少的特征量就能 涵盖系统或用户的行为特征。( 2 ) 参考闽值的选定。因为在实际的网络环境下， 入侵行为和异常行为往往不是一对一的等价关系，这样的情况是经常会有的：某 一行为是异常行为，而它并不是入侵行为；同样存在某一行为是入侵行为，而它 却并不是异常行为的情况。这样就会导致检测结果的虚警和漏警的产生。由于异 常检测是先建立正常的特征轮廓作为比较的参考基准，这个参考基准即参考阈值 的选定是非常关键的，阈值定的过大，那漏警率会很高：闽值定的过小，则虚警率 就会提高。合适的参考阈值的选定是影响这一检测方法准确率的至关重要的因 素。 异常检测方法的技术难点在于：“正常”行为特征轮廓的确定；特征量的选 取；特征轮廓的更新。由于这几个因素的制约，异常检测的虚警率很高，但对于 未知的入侵行为的检测非常有效。此外，由于需要实时地建立和更新系统或用户 硕士学位论文第二章入侵检测技术概述 的特征轮廓，这样所需的计算量很大，对系统的处理性能要求会很高。图2 - 2 是 异常检测的示意图。 图2 - 2 异常检测的示意图 异常检测技术常用的具体方法有：基于统计异常检测方法、基于模式预测异 常检测方法、基于神经网络异常检测方法等等。 基于统计异常检测方法是指系统检测组件根据用户对象的动作，为每个用户 建立一个用户特征表，通过比较当前特征与己存储的历史特征，来判断是否有异 常行为。用户特征表需要根据审计记录情况不断地加以更新。用于描述用户特征 表的尺度有：( 1 ) 活动密度尺度：度量操作执行的速率，常用于检测通过长时间 平均察觉不到的异常行为。例如，某用户的审计记录在一分钟内需处理的次数； ( 2 ) 审计记录分布尺度：度量在最新记录中所有活动类型的分布：例如，某用户 的文件存取和i 0 操作在整个系统使用率中的相对分布情况：( 3 ) 范畴尺度：度 量在一定动作范畴内特定操作的分布情况：例如，从一些物理位置登录系统的相 对频率、系统中邮件、编译器、编辑器、命令s h e l l 等的相对使用情况；( 4 ) 数 值尺度：度量那些产生数值结果的活动。例如某用户c p u 使用率、i o 使用率等。 这种方法的优越性在于能应用成熟的统计理论。但也有不足之处，例如：对事件 发生的次序不敏感，也就是说，完全依靠统计理论可能漏检那些利用彼此关联事 件的入侵行为。其次，定义是否入侵的判断阈值也比较困难。阈值太低则误检率 提高，阈值太高则漏检率提高。 基于模式预测异常检测方法是基于假设：审计事件的序列不是随机的而是符 合可识别的模式。与纯粹的统计方法相比，它增加了对事件顺序与相互关系的分 析，从而能检测出统计方法所不能检测的异常事件。这一方法首先根据己有的事 件集合按事件顺序归纳出一系列规则，在归纳过程中，随着新事件的加入，不断 改变规则集合，最终得到的规则能准确地预测下一步要发生的事件。例如，对于 规则( e 1 - - e 2 ) = ( e 3 = 8 0 ，e 4 = 1 5 ，e 5 = 5 ) 表明，当系统中e 1 、e 2 统计事件依 次发生后，随之发生e 3 统计事件的概率为8 0 、e 4 的概率为1 5 、e 5 的概率为 5 。在监测的主体会话过程中，如果己发生的事件符合规则的左边，而随之发 生的事件完全不同于规则右边的预测，则该会话过程将被标识为异常的入侵。预 测模式生成优点在于：能够处理行为多变但是符合一定次序模式的特征的主体； 硕士学位论文第二章入侵检测技术概述 系统的适应性好，规则能够通过删除差的规则，保留好的规则而进行不断演化： 由于仅需处理相关的审计时间，因此计算量少，系统反应快，检测效率高。但它 最大的缺点是：当入侵过程产生的时间序列不符合规则左边的模式定义时，该事 件序列将被标识成不认识的时间序列，从而无法检测出入侵。 基于神经网络异常检测方法是利用一系列信息单元( 即命令) 来训练神经单 元，这样在给定一组输入后，就可以预测出输出。神经网络更好地表达了变量间 的非线性关系，并且能自动学习并更新。用于检测的神经网络模块结构大致是： 当前命令和刚过去的w 个命令组成了网络的输入，其中w 是神经网络预测下一个 命令时所包含的过去命令集的大小。根据用户的代表性命令序列训练网络后，该 网络就形成了相应用户的特征表，于是网络对下一事件的预测错误率在一定程度 上反映了用户行为的异常程度。神经网络方法的优点在于能更好地处理原始数据 的随机性，即不需要对这些数据作任何统计假设，并且有较好的抗干扰能力。缺 点在于网络拓扑结构以及各元素的权重很难确定，命令窗口w 的大小也难以选 取。窗口太小，则网络输出不好，窗口太大，则网络会因为大量无关数据而降低 效率。 2 2 2 误用检测技术 误用检测技术“”也被称为基于知识的检测。其基本前提是：假定所有可能的 入侵行为都能被识别和表示。其主要原理是：首先对己知的攻击方法进行攻击签 名表示，然后根据已经定义好的攻击签名，通过判断这些攻击签名是否出现来判 断入侵行为的发生与否。这种方法是直接判断攻击签名的出现与否来判断入侵 的，从这一点来看，它是一种直接的方法。 误用检测的关键问题：攻击签名的正确表示。误用检测是根据攻击签名来判 断入侵的，那如何有效地根据对已知的攻击方法的了解用特定的模式语言来表示 这种攻击，即攻击签名的表示，将是该方法的关键所在，尤其攻击签名必须能够 准确地表示入侵行为及其所有可能的变种，同时又不会把非入侵行为包含进来。 由于很大一部分的入侵行为是利用系统的漏洞和应用程序的缺陷，那么通过分析 攻击过程的特征、条件、排列以及事件间的关系，就可具体描述入侵行为的迹象。 这些迹象不仅对分析已经发生的入侵行为有帮助，而且对即将发生的入侵也有预 警作用。 误用检测是通过将收集到的信息与已知的攻击签名模式库进行比较，从而发 现违背安全策略的行为的。那么它就只需收集相关的数据，这样系统的负担明显 减少。该方法类似于病毒检测系统，其检测的准确率和效率都比较高。而且这种 技术比较成熟，国际上一些顶尖的入侵检测系统都采用的该方法。但是它也存在 硕士学位论文 第二章入侵检测技术概述 一些缺点：( 1 ) 不能检测未知的入侵行为。由于其检测机理是对已知的入侵方法 进行模式提取，对于未知的入侵方法由于缺乏知识就不能进行有效的检测。也就 是说漏警率比较高。( 2 ) 与系统的相关性很强。对于不同的操作系统由于其实现 机制不同，对其攻击的方法也不尽相同，很难定义出统一的模式库。图2 3 是 误用检测的示意图。 图2 - 3 误用检测的示意图 误用入侵检测常用的具体方法有：基于简单模式匹配误用入侵检测方法、基 于专家系统误用入侵检测方法、基于状态迁移分析误用入侵检测方法等等。 基于简单模式匹配误用入侵检测方法在目前多数的商业化入侵检测产品中 得到应用。其特点是原理简单、扩展性好、检测效率高、可以实时检测，但只能 适用于比较简单的攻击方式，并且误报率高。简单模式匹配虽然性能上存在很大 问题，但由于系统的实现、配置、维护都非常方便，因此得到了广泛的应用。 基于专家系统误用入侵检测方法根据安全专家对可疑行为的分析经验来形 成一套推理规则，然后在此基础之上构成相应的专家系统。将有关入侵的知识转 化成i f t h e n 结构的规则，其中i f 部分是构成入侵所要求的条件，t h e n 的部 分是将发现入侵后采取的相应措施。当其中某个或某部分的条件满足时，系统就 判断入侵行为是否发生。其中的i f t h e n 结构构成了描述具体攻击的规则库， 状态行为及其语义环境可根据审计事件得到，推理机根据规则和行为完成判断工 作。专家系统主要根据己有的规则知识进行推理，然而主要的威胁来自许多未知 的攻击行为，因而它的识别范围和能力是非常有限的。实现一个基于规则的专家 系统是一个知识工程问题，其功能应当能够随着经验的积累而利用其自学习能力 进行规则的扩充和修正。在具体实现中，专家系统主要也面临以下问题：全面性 问题，即难以科学地从各种入侵手段中抽象出全面的规则化知识；效率问题，即 所需处理的数据量过大，而且在大型系统上，如何获取实时连续的审计数据也是 个问题。 基于状态迁移分析误用入侵检测是一种使用状态迁移图来表示和检测入侵 的方法。通常入侵行为是由攻击者执行的一系列的操作，这些操作可以使系统从 某些初始状态迁移到一个危及系统安全的状态。这里状态是指系统在某时刻的特 硕士学位论文第二章入侵检测技术概述 征，可以由一系列系统属性来描述。当然，在入侵前的系统初始状态迁移到入侵 后危及系统安全的状态之间，可能有一个或多个中间状态的迁移。而触发一个状 态到另个状态迁移的条件则是相应的动作。状态转移分析提供了一种非常直 观、简便、独立于审计数据格式的检测方法。它能检测同一类入侵及其多种变种， 在一定程度上可以预测下一步可能的攻击方法。然而，它的局限性在于：它不能 检测比较复杂的和不能表示为状态迁移过程的攻击行为。 2 2 3 异常检测技术与误用检测技术的比较 以上介绍了异常检测和误用检测这两种不同的检测方法。表2 1 列举了从检 测的依据等几个方面两种检测方法的比较： 表2 - 1 异常入侵检测与误用入侵检测的比较 采用技术异常检测技术 误用检测技术 检测的依据 使用者的行为或资源使用状况 对一些具体行为的判断和推理 检测的入侵行为试图发现一些未知的入侵行为己知的入侵行为 检测的准确度一般高 检测的误捡率高一般 对具体系统的依一般 强 赖性 如果把系统和网络事件空间看成是一个平面，每个事件对应该平面上的一个 点。那么误用检测的原理就是：首先在该平面上描述一些认为是入侵事件的特殊 点，然后在检测过程中只要发生的事件落在这些点上就把它视为入侵。异常检测 的原理是：首先在平面上描述一些认为是正常事件的点，点都位于某一条线的一 边，然后在检测过程中只要发生的事件落在这条线的另一边就被认为是异常，而 落在正常事件的一边就被认为是正常。 2 3 入侵检测发展方向与趋势 入侵检测的一个重要发展趋势是标准化。入侵检测系统一般都是独立开发， 不同的入侵检测系统可能使用不同的技术，具有不同的应用领域。因此，不同系 统之间缺乏互操作性和互用性，对入侵检测系统的发展造成了很大的障碍。目前， 试图对入侵检测系统进行标准化的工作的主要是c o m m o ni n t r u s i o nd e t e c t i o n 硕士学位论文 第二章入侵检测技术概述 f r a m e w o r k ( 通用入侵检测框架( c i d f ) ) “。 d a r p a ( t h ed e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ，美国国防部高 级研究计局) 于1 9 9 7 年3 月开始着手c i d f 模型的研究。它定义了一个通用的入 侵检测框架。该框架的目的主要是：( 1 ) 入侵检测系统构件共享，即一个入侵检 测系统的构件可以被另一个入侵检测系统所使用：( 2 ) 数据共享，即通过提供标 准的数据格式，使得入侵检测系统中的各类数据可以在不同系统之间传递并共 享；( 3 ) 完善互用性标准并建立一套开发接口和支持工具，以提供独立开发部分 构件的能力。 该框架将一个入侵检测系统分为以下组件：事件产生器( e v e n t g e n e r a t o r s ) ；事件分析器( e v e n ta n a l y z e r s ) ：响应单元( r e s p o n s eu n i t s ) ： 事件数据库( e v e n td a t a b a s e s ) 。c i d f 将入侵检测系统需要分析的数据统称为 事件( e v e n t ) ，它可以是网络中的数据包，也可以是从系统日志等其他途径得到 的信息。 c i d f 标准还没有正式的确立，也没有一个入侵检测商业产品完全采用该标 准，但是考虑到入侵检测系统的特殊性，其实各种入侵检测系统的模型都有很大 的相似性。各种入侵检测系统各自为政，系统之间的互操作性很差，因此各厂商 都在按照c i d f 进行信息交换的标准化工作。 入侵检测另一个发展趋势是入侵技术不断的更新“。交换技术的发展以及通 过加密信道的数据通信使通过共享网段侦听的网络数据采集方法愈显不足，而 大通信量对数据分析也提出了新的要求。目前的入侵检测系统系统又存在很多 急需解决的问题。因此新一代的入侵检测系统系统应具备很多新的功能和特点。 新一代入侵检测系统应该能够进行基于事件语义而不是事件语法的检测。例如， 给定一个语义检测引擎，入侵检测不需要考虑被检测的系统使用的是何种平台、 何种协议或什么数据类型。新一代入侵检测系统在检测“多态”或“变异”的 攻击时，检测器不仅能够认出变异后的攻击，也能认出原始的攻击。新一代入侵 检测系统应能在网络协议的不同层次上检测入侵和报警，应能处理如l o t u s n o t e s 、数据库系统等其他的应用系统。新一代入侵检测系统应将入侵检测功能 与通用网络管理紧密结合起来，结合防火墙、p k i x 、安全电子交易( s e t ) 等新 的网络安全与电子商务技术，提供完整的网络安全保障，进而能够进行改善的 趋势分析，或者及时预测有威胁的攻击以便阻塞或防止这些攻击。新一代入侵检 测系统应具有易用性和易管理性，特别是在多设备( 超过1 万个主机) 的情况 下。 硕士学位论文第二章入侵检测技术概述 2 4 本章小结 本章就入侵检测的技术以及其发展方向与趋势进行了阐述。入侵检测技术作 为一种积极主动的安全防护技术，提供了对内部攻击、外部攻击和误操作的实时 保护，并在系统被破坏之前拦截和响应入侵。从网络安全立体纵深、多层次防御 的角度出发，入侵检测技术是保护信息系统安全的重要途径，对网络应用的发展 具有重要意义与深远影响。 硕士学位论文第三章主机用户行为的特征数据选取研究 3 1 引言 第三章主机用户行为的特征数据选取研究 基于主机用户行为的入侵检测通常以系统日志、应用程序日志等审计记录文 件作为数据源。它足通过比较这些审计记录文件的汜录，用一种特定的方式来表 示已知的攻击模式，以发现它们是否匹配。如果匹配，检测系统就向系统管理员 发出入侵报警并采取相应的行动。 研究用户行为特征数据的重要性是显而易见的：就准确性、可靠性和效率而 言，入侵检测系统收集到的数据是它进行检测和决策的基础。如果收集数据的时 延太大，系统很可能在检测到攻击的时候，入侵者已经长驱直入：如果数据不完 整，系统的检测能力就会大打折扣；如果数据本身不正确，系统就无法检测某些 攻击，从而给用户造成一种很虚假的安全感，后果更不堪设想。 本章节将要首先阐述数据选取的工作流程，然后分别就l i n u x 与w i n d o w s 环 境下数据的获取进行研究，并就数据获取的关键技术进行详细的阐述。 3 2 数据选取的工作流程 在检测入侵中最为重要的环节就是用户行为数据的选取。入侵检测的实质是 区分正常行