（计算机软件与理论专业论文）基于距离的边缘抛弃聚类算法及其在入侵检测中的应用.pdf

项士论文基于距离的边缘抛弃聚类算法及其在入侵检测中的应用 摘要 入侵检测技术作为“防火墙”、“数据加密”等传统安全保护措施后的又一个 安全保障技术，对计算机和网络资源上的恶意使用行为进行识别和响应，不仅检 测来自外部的入侵行为，同时也监督内部用户的未授权活动。近年来，入侵检测 技术得到越来越广泛的应用。 随着计算机技术和网络技术的不断发展，海量存储和高带宽传输的普及，入 侵检测系统所面临的数据日益庞大；在入侵检测技术发展的同时，入侵技术也在 更新，入侵方法越来越多样化与综合化。数据挖掘技术旨在从海量数据中提取隐 藏的预测性的信息，发掘数据间潜在的联系，将数据挖掘技术应用到入侵检测中 可以很好的解决这些问题。 本文研究了数据挖掘中的聚类方法，并将其应用到入侵检测中。在研究各种 聚类方法的基础上提出了一种基于距离的边缘抛弃聚类算法。该算法特点包括： 聚类中心不是固定的，而是会随样本输入不断调整；每个样本所属的类别不是固 定的，有可能会随着聚类中心的调整而从某一类转移到另一类中，即“边缘抛弃”。 本文详细分析了本算法，并对初始化聚类中心、样本输入顺序、边缘抛弃的原则、 算法结束条件做了具体和详细的研究。 最后，本文在k d d c u p9 9 数据集上，通过对数据的特征选择和连续化处理 后，对本算法进行了仿真实验，实验结果表明，本算法具有较好的性能。 关键词：入侵检测，数据挖掘，聚类方法 硕士论文基于距离的边缘抛弃聚类算法及其在入侵检蔫中的应用 t h ei n t r u s i o nd e t e c t i o ns y s t e m , a p a r tf r o mt r a d i t i o n c l l r i t yd e f e n s et e c h n i q u e s ， s u c ha sf i r e w a l la n dd a t ae n c r y p t , w a t c ht h ec o m p u t e r sa n dn e t w o r kt r a 伍of o r i n t r u s i v ea n ds u s p i c i o u sa c t i v i t i e s t h e yd e t e c tn o to n l yt h ei n t r u s i o n sf r o mt h e e x t c m a ih a c k e r , b u ta l s ot h eu n a u t h o r i z e do p e r a t i o n sf r o mi n t r a n e tu s e i s i nt h e s e y e a r s i d sh a sb e e na p p l i e dm o r ea n dm o r ew i d e l y w i t ht h ed e v e l o p m e n to fc o m p u t e ra n dn e t w o r kt e c k n o l o g i e s ，t h ep o p u l a r i z a t i o n o fn u n l 觑 o u ss t o r a g ea n dw i d e - b a n dt r a n s p o r t a t i o n ，i d sf a c e sm o r cv a s td a t at h a n b e f o r e w i t hi d s d e v e l o p m e n t , i n t r u s i o nt e c h n o l o g yh a sb e e nd e v e l o p e d i n t r u s i o n b d ? , o m e sm o r em u l t i p l e xa n di n t c g r a t e , d d a t am i n i n ga i r a s t oe x t r a c th i d d e n f o r e c a s t e di n f o r m a t i o na n dd i s c o v e rt h el a t e n tp a t t e r n sa m o n gd a t a w h e nd a t am i n i n g a p p l y t oi d s ，t h ep r o b l e mw i l lb es o l v e dv e r yw e l l t h i sp a p e rr e s e a r c h e de l n s t c r m gm e t h o di nd a t am i n i n g , t h e na p p l i e di tt oi d s b a s e do nm cr e s e a r c ho f v a r i o u sc l u s t e r i n gm e t h o d s ，ad i s t a n c e - b a s e de d g ca b a n d o n c l u s t e r i n gm e t h o dh a sb e e np r o p o u n d e d t h ef e a t u r e so ft h em e t h o da l eg i v e na s f o l l o w s ：t h ec e n t e ro fc l u s t e ri sn o ts t a i d , b u tw i l lb ea d j u s t e dc o n t i n u o u s l y t h e d u s t e ro fas w a t c hi sn o ts t a i d t h es w a t c hw i l lp o s s i b l yb el r a n s f e r r e df r o mo n e c l u s t e rt oa n o t h e rb yt h em o v e m e n to ft h ec l u s t e r , a sc a l l e d e d g ea b a n d o n t h i s p a p e ra n a l y z e dt h i sm e t h o di nd e t a i l ，a n dp a i dm u c h a t t e n t i o nt ot h ei n i t i a l i z a t i o no f c l u s t e rc e n t e r , t h eo r d e ro fs w a t c hm p u t , t h ep r i n c i p l eo fe d g ea b a n d o n , t h ec o n d i t i o n o f e n d i n g a tl a s t , b a s e do nk d d c u p9 9d a t a s e t , a f t e rt h ed a t ah a sb e e nc h o s e na n d c o n t i n u o u s f i e l , ac o m p u t e rs i m u l a t i o nh a sb e e no p e r a t e d t h er e s u l to f t h ee x p e r i m e n t p r o v e dt h a tt h em e t h o d o w n e dag o o de t 五c i e n c y k e yw o r d s ：i n t r u s i o nd e t e c t i o n , d a t am i n i n g ，c l u s t e r i n gm e t h o d l i 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：丛竖沁7 年6 月彳日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：兰扣 驰。7 年6 月玛曰 硕士论文基于距离的边缘抛弃聚类算法及其在入侵检测中的应用 1 绪论 1 1 网络安全 网络的迅速发展不仅改变人们的生活模式，也改变了许多企业的经营管理模 式，为人们带来了极大的便利。自从1 9 8 3 年因特网问世以来，经过短短二十多 年的发展，已成为目前规模最大的国际性计算机网络。网络的发展促进了信息的 交流，为机构和的企业的管理和发展也提供了契机。越来越多的机构和企业构建 了自己的信息系统，并可以通过网络来提供远程服务和管理。i n t e m e t 的应用不 仅仅局限在科研和军事部门，它已经渗透到社会生活的各个方面，涵盏了政治、 军事、经贸、通信、教育、咨询、娱乐等各个领域，给人们的生活带来深刻的影 响。人们可以自由地在网络上查阅资料、发送b m a i l 、下载音乐和电影甚至选 购满意的商品。随着信息技术的发展和人们观念的进步，网络在社会生活中的地 位将会越来越重要。 当人们在感受信息网络传递快捷、资源共享、平等相处等魅力的同时，也感 受到它给国家安全、经济发展、社会稳定和军事斗争大局带来的种种隐患。尤其 在电信、金融及政府军事等行业和部门，信息技术的应用达到相当高的水平，计 算机和互联网技术的确给人们带来了前所未有的便利，同时促进了生产力的发 展。但是，由于网络连接形式的多样性、终端设备的开放性等特征，致使互联网 极其容易受到黑客、计算机病毒和其他有且的性的攻击。 一 针对网络中的各种安全威胁，产生了许多关于网络安全的技术。主要以下几 类： ( 1 ) 主机安全技术 主机网络安全技术是一种主动防御的安全技术，它结合网络访问的网络特性 和操作系统特性来设置安全策略，可以根据网络访问的访闯者及访问发生的对 间、地点和行为来决定是否允许访问继续进行，实现对于同一用户在不同的场所 拥有不同的权限，从而保证合法用户的权限不被非法侵占。主机网络安全技术考 虑的元素有巾地址、端口号、协议、m a c 地址等网络特性和用户、资源权限 以及访问时间等操作系统特性，并通过对这些特性的综合考虑，来达到对用户网 络访问的细粒度控制。 ( 2 ) 身份认证技术 它包括了加密、c a 认证中心等相关技术，实现对实体身份的鉴别。 ( 3 ) 访问控制技术 硬士论文 基于距离的边缘抛弃聚类算法及其在入侵检测中的应用 访闯控制是通过对访问者的有关信息进行检查来限制或禁止访问者使用资 源的技术。分为高层访问控制和低层访问控制。它可以防止未经授权的用户非法 使用系统的资源。 ( 4 ) 加密技术 加密技术主要用于信息的保密传输和身份的鉴别。目前信息加密技术主要分 为两大类：对称加密和非对称加密。 ( 5 ) 防火墙技术 网络防火墙技术是一种用来加强网络之间访问控制的技术，可以有效防止外 部网络用户以非法手段通过外部网络进入网络内部，保护内部网络。防火墙是通 过对网络中的数据包按照一定的安全策略来实施检查，决定网络通信是否被允 许，并监视网络的运行状态。目前的防火墙产品主要有堡垒主机、包过滤路由器、 应用层网关以及电路层网关、屏蔽主机防火墙、双宿主机等类型。 ( 6 ) 安全审计技术 安全审计技术主要负责对网络活动的各种日志信息进行分析和处理，并从中 识别各种已发生的和潜在的攻击活动。考虑到传统安全审计技术在时间上的滞后 性，逐渐发展了具有一定超前预警功能的入侵检测和预警技术。 ( 7 ) 安全管理技术 网络安全管理主要对网络安全体系中的防火墙、入侵检测系统等网络安全设 备进行管理。 ( 8 ) 入侵检测技术 入侵检测是一种比较新兴的网络安全技术，它是一种积极主动的安全防护技 术，提供了对内部攻击、外部攻击和误操作的实时保护，在网络系统受到危害之 前拦截和响应入侵。 1 2 入侵检测 入侵检测系统不仅可以检测被其他安全技术记录的攻击，而且试图检测那些 被其他手段难以预料的新型攻击。同时，它还可以提供适用于法庭的证据来发现 攻击的来源，使攻击者对他们的行为更加负责，所以从某种意义上来说，可以对 攻击者形成一定的威慑作用。 1 2 1 入侵检测技术的发展历程 入侵检测技术是2 0 世纪8 0 年代提出来的陶，在2 0 多年的不断发展中，从 最初的种单纯理论模型逐步发展成具有实际作用的原型系统，成为计算机安全 2 碗士论文基于距离的边缘抛弃聚类算法及其在入侵检测中的应用 领域不可缺少的一种重要防护工具。 1 9 8 0 年，j a m e sa n d e r s o n 在其著名的技术报告( c o m p u t e rs e c u r i t yt h r e a t m o n i t o r i n ga n ds u r v e i l l a n c e 中，首次提出安全审计的目标，并强调应该对计算 机审计机制作出若干修改，以便计算机安全人员能够方便地检查和分析审计数 据。同时，提出了基本地检测思路。这份报告被认为是入侵检测的开山之作。 从1 9 8 4 年到1 9 8 6 年，乔治敦大学的d o r o t h yd e n n i n g 和s 融公司计算机科 学实验室的p e t e rn e n m a n n 研究出了著名的入侵检测专家细工观s ( i n t r u s i o n d e t e c t i o ne x p e r ts y s t e m ) 。该模型采纳了a n d e r s o n 提出的若干建议，它独立于系 统平台、应用环境、系统弱点以及入侵类型，为构建入侵检测系统提供了一个通 用框架。 1 9 8 8 年，s r f c s l 的t e r e s al u n t 等人改进了d e n n i n g 模型，改进后的模型 包括异常检测器和策略规则，建立了统计异常行为的数学模型，实现了对入侵行 为的特征分析。 1 9 8 9 年至1 9 9 1 年，s t e p h e ns m a h a 设计开发了h a y s t a c k 系统，该系统同时 采用了两种不同的统计分析检测技术来发现异常活动。 1 9 9 0 年，加州大学d a 、，i s 分校的h e b e r l i e n 发表在i e e e 上的论文 a n e t w o r k s e c u r i t ym o n i t o r ) ) ( n s m 系统) ，标志着入侵检测第一次将网络数据包作为审计 信息源。自此，入侵检测系统两大阵营正是形成基于主机的入侵检测系统和 基于网络的入侵检测系统。 1 9 9 1 年，在包括美国国家安全局在内的多个部门的资助下，在n s m 和 h a y s t a c k 系统基础上，s t e p h e ns m a h a 主持研发了d i d s ( d i s t r i b u t e di n m a s i o n d e t e c t i o ns y s t e m ) ，将基于主机和基于网络的检测方法集成到一起。 2 0 世纪9 0 年代到现在，入侵检测技术逐步向智能化和分布式两个方向发展， 全世界多所大学和研究机构采用了多种方法用于入侵检测技术的研究，现有的入 侵检测系统多数采用代理、概率统计、专家系统、神经网络、模式匹配、遗传算 法等来实现系统的检测机制，以分析事件的审计记录、识别特定的模型、生成检 测报告和最终的分析结果，极大地推动了入侵检测技术地发展。 t 1 2 2p 2 d r 安全模型 p 2 d r 模型是一个动态的计算机系统安全理论模型。如图1 2 2 1 所示。 它的指导思想比传统静态安全方案有突破性提高。 p 2 d r 模型包含4 个主要部分：p o l i c y ( 安全策略) ，p r o t e c t i o n ( 1 跚) ，d e t e c t i o n ( 检测) ，r e s p o n s e ( 响应) 。特点是动态性和基于时间特性。 3 硕士论文基于距离的边缘抛弃聚类算法及其在入侵检测中的应用 图1 2 2 ip z d r 模型 具体而言，p 2 d r 模型的内容包括如下： 策略：p 2 d r 模型的核心内容。具体实施过程中，策略规定了系统所要达到 的安全目标和为达到且标所采取的各种具体安全措施及其实施强度等。安全策略 的实施必然会影响到系统运行的性能，以及牺牲用户操作的舒适度，因此安全策 略必须按需而制。 防护：具体包括制定安全管理规则、进行系统安全配置工作以及安装各种安 全的防护设备，例如防火墙、v p n 等设备。 检测：在采取各种安全措施后，根据系统运行情况的变化，对系统安全状态 进行实对的动态监控。 响应：当发现了入侵活动或入侵结果后，需要系统做出及时的反应并采取措 施，其中包括：记录入侵行为、通知管理员、阻断进一步的入侵活动以及恢复系 统正常运行等。 p g d r 模型阐述了这样一个结论：安全的目标实际上就是尽可能的增大保护 时间，尽量减少检测时间和响应时间。入侵检测技术( i n t r u s i o nd e t e c t i o n ) 就是 实现p z d r 模型中“d e t e c t i o n ”部分的主要技术手段。在p g d r 模型中，安全策 略处于中心地位，但是从另一个角度来看，安全策略也是制定入侵检测中检测策 略的一个重要信息来源，入侵检测系统需要根据现有己知的安全策略信息，来更 好的配置系统模块参数信息。当发现入侵行为后，入侵检测系统会通过响应模块 改变系统的防护措施，改善系统的防护能力，从而实现动态的系统安全模型。因 此，从技术手段上分析，入侵检测可以看作是实现p g d r 模型的承前启后的关键 环节。 4 硕士论文基于距离的边缘抛弃募类算法及其在入侵检测中的应用 1 2 3 入侵检测的研究方向 当前的入侵检测系统( i d s ) 主要通过模式匹配技术将收集到的信息与已知的 网络入侵和系统误用模式数据库进行比较，来发现违背安全策略的入侵行为。还 有一些i d s 中应用了异常检测技术。异常检测首先给系统对象创建一个统计描 述，包括统计正常使用时的测量属性，如访问次数、操作失败次数和延时等。测 量属性的平均值被用来与网络、系统的行为进行比较，当观察值在正常值范围之 外时，i d s 就会判断有入侵发生。异常检测技术在实用中会产生误报率大的问题， 而且很难定义不同网络环境中的正常流量。就目前而言，模式匹配技术仍然是大 多成熟商用i d s 使用的主要技术。 随着高速分布式网络的发展，对入侵检测又提出了更高的要求。因此今后的 i d s 面临着更多的陌生研究领域： ( 1 ) 如何在高速网络中实现实时的入侵检测； ( 2 ) 如何实现加密数据的入侵检测； ( 3 ) 分布式系统之间信息的传递。 ( 4 ) 如何增强入侵检测系统自身安全性的研究，这在以前的研究中未受到重 视，然而在分布式系统中，检测系统由于本身置于网络之中并担负着系统的监控 任务，自身运行状况的好坏是否正常十分关键。 ( 5 ) 误用检测与异常检测的集成。由于异常检测模型和误用检测模型在检测 方式、适用对象、检测效果等诸方面均存在着较大的互补性，因此它们的集成将 有助于承担系统的复杂安全监控任务。 ( 6 ) 增强入侵事件的主动反应，这要求检测系统在发现入侵行为时，能够主 动她向系统管理人员提出建设性的建议或按照事先指定的应急措施进行安全防 护。 ( 7 ) 系统资源的占用问题。由于计算技术和网络呈现高速化的特点，待监控 的信息爆炸性增长，检测系统应尽量在降低对计算资源要求的同时提高检测效 率。 ( 8 ) 检测系统评价体系的研究。如何公正地评价检测模型的有效性，如何选 择评价模型的评价指标体系，是研究入侵检测的重要课题。 1 3 数据挖掘在入侵检测中的应用可行性 随着大规模网络入侵事件的出现，入侵检测技术已经成为近年来网络安全领 域的一个研究热点。而传统建立入侵检测系统的方法，多为基于简单特征值分析、 手动发现规则方式，人工参与的工作量大，系统建立速度慢更新代价高而且面对 硕士论文基于距离的边缘抛弃聚类算法及其在入侵检涮中的应用 日益更新的网络设施和层出不穷的入侵方法，这样建立的入侵检测系统显得缺乏 有效性、适应性和可扩展性，有较高的漏报率和误报率。近年来，将数据挖掘技 术引入入侵检测领域的研究成为一个热点，具有代表性的成果就是美国哥伦比亚 大学的w e n k el e e 研究小组所创建的入侵检测系统，该系统所用的主要技术是分 类、关联规则和序列规则分析【3 】。 数据挖掘通常应用于市场营销、金融投资、生产制造等领域。但在入侵检测 领域中运用数据挖掘技术对网络业务进行分析、发现入侵模式等方面也具有明显 优势。入侵检测也正是要从大量数据中分析提取出有用的知识( 如规则) 和模式， 并对网络业务行为的正常与否做出判断，这与数据挖掘技术的思路不谋而合。因 此将数据挖掘技术应用于入侵检测领域是完全可行的。具体来说，基于数据挖掘 的入侵检测系统具有以下优点： ( 1 ) 适应能力强：应用数据挖掘方法的检测系统不是基于预定义的检测模 型，可以有效地检测新型攻击以及已知攻击的交种。 ( 2 ) 检测效率高：数据挖掘可以自动地对数据进行预处理抽取数据中的有用 部分有效地减少数据处理量。 ( 3 ) 智能性好：采用数据挖掘技术可以自动地从海量数据中提取人工难以发 现的网络行为模式，提高了检测准确性。 基于以上分析，我们认为将数据挖掘技术应用于入侵检测是可行的，因而进 行这方面的研究也是有必要的。 1 4 本文主要研究内容 随着计算机网络的发展，入侵检测技术的发展也日新月异。作为一种积极主 动的安全防护技术，入侵检测提供了对内部攻击、外部攻击和误操作的实时保护， 在网络系统受到危害之前拦截和响应入侵。入侵检测系统正成为信息安全体系中 的重要和不可缺少的一环。近年来，将数据挖掘技术引入入侵检测领域的研究成 为一个熟点。 本文主要研究了基于聚类方法的入侵检测系统，内容如下： ( 1 ) 研究了现有的入侵检测和数据挖掘技术尤其是聚类方法，并分析了基于 数据挖掘的入侵检测的特点。 ( 2 ) 针对现有聚类算法的不足以及入侵检测的特点，提出了一种基于距离的 边缘抛弃聚类算法。该算法主要特点为：各聚类的中心点不是固定的，而是会随 着样本输入而不断调整。由于聚类中心的不断调整，会产生一些边缘点，在样本 输入过程中需要对它们进行检查和处理。当所有样本输入完毕后再对各类的中心 进行遍历，处理边缘点，直至达到结束条件。 6 颈士论文基于距离的边缘抛弃聚英算j 毫及其在入侵检测中的应用 ( 3 ) 研究算法结束的条件。通过近似计算，得知由于边缘抛弃而产生新边缘 点的概率极其小。以此为基础最终确定算法结束条件。 ( 4 ) 对本算法进行仿真实验。实验在砌) d c u p9 9 数据集之上进行。考虑到 实验的效率和k d d c u p9 9 数据集的特点，对数据进行了预处理 ( 5 ) 分析实验的结果，并以此评判算法的性能 1 5 本文组织结构 本文分为七章，各章节安排如下： 第一章，绪论，简要介绍了网络安全、入侵检测和数据挖掘的现状；介绍了 本文的主要研究工作和文章内容安排。 第二章，介绍了入侵检测的定义、分类、性能指标，探讨了现有入侵检测系 统的不足，并分析了入侵检测技术的发展趋势 第三章，介绍了数据挖掘的定义、任务，分析了基于数据挖掘的入侵检测系 统的特点，介绍了数据挖掘技术中聚类方法的原理、数据类型、数据结构、相似 性度量方法，并探讨了各种聚类方法的特点和区别。 第四章，介绍了本文提出了基于距离的边缘抛弃聚类算法的思想，详细探讨 了算法各步骤的原理，特点以及对算法中各问题的解决方法，在研究算法特点的 基础上确定了算法结束条件。 第五章，介绍了算法的实现方法，算法各模块流程，以及对数据预处理的方 法。 第六章，介绍了仿真实验的实验环境、实验数据、实验方法和实验结果。 第七章，根据算法的理论特性和实验结果，对算法的性能进行了分析。 1 6 本章小结 本章介绍了网络安全的相关概念、安全技术等。阐述了入侵检测这一重要的 安全措施相关概念、发展历史及研究方向。讨论了数据挖掘技术在入侵检测中应 用的可行性以及优势所在。并对本文研究内容和组织结构进行了介绍。 7 颂士论文 基于距离的边缘抛弃聚娄算法及其在入侵检测中的应用 2 入侵检测技术的研究 1 9 8 0 年，a n d c l $ o n 在其为美国空军所做的技术报告“计算机安全威胁的监 察”中提出，必须改变现有的系统审计机制，以便为专职系统安全人员提供安全 信息，被认为是有关入侵检测的最早论述。d e n n i n g 在1 9 8 7 年发表了具有里程 碑意义的论文。入侵检测模型”，首次提出了异常检测模型，并在此基础之上开 发出入侵检测专家系统( r u e s ) 【i i l 。在智能化和分布式两个方向取得了很大的进 展，其中比较有代表性的系统如n i d e s 1 2 1 ，b r o 1 3 e m e r a l d 1 川，i d a 1 5 1 ， a a f i d t l 6 l 和m a i d s t l - q 。在此期间，数据挖掘、免疫系统、基因算法、智能代理 等技术也渗透或融合n t 入侵检测技术中，从而将入侵检测技术的发展推向了一 个新的高度。 。 2 1 入侵检测的定义 入侵( i n t r u s i o n ) 是个广义的概念，不仅包括发起攻击的人( 如恶意的黑客) 所取 得超出合法范围的系统控制权，也包括收集漏洞信息，造成拒绝访问或拒绝服务 等对计算机系统有危害的行为。入侵行为不仅指来自外部的攻击行为，同时也指 内部用户的未授权活动。如非法盗用他人账户，非法获得系统管理员权限，修改 或删除系统文件等。 入侵检测咖i o n d e t e c t i o n ) 1 町的概念首先是由j a m e s a n d e r s o n 于1 9 8 0 年提 出来的。入侵检测是对企图入侵、正在进行的入侵和已经发生的入侵进行识别的 过程。它从计算机系统或者网络中收集、分析信息，检测任何企图破坏计算机资 源的完整性，机密性和可用性的习惯行为，查看是否有违反安全策略的行为和遭 到攻击的迹象，并做出相应的反应。 入侵检测系统( i n t r u s i o n d e t e c t i o ns y s t e m ) 在国际计算机安全协会 i c s a fi n t e r n a t i o n a lc o m p u t e rs e c u r i t ya s s o c i a t i o n ) l 基j ) k 侵检测系统论坛上被定义 为：入侵检测系统是一种通过从计算机网络或计算机系统中的若干关键点收集信 息并对其进行分析，从中发现网络或系统中是否有违反安全策略的行为和遭到袭 击迹象的安全技术。 入侵检测系统的原理如图2 2 1 所示，作为一个成功的入侵检测系统，不仅 可使系统管理员时刻了解网络系统( 包括程序、文件和硬件设备等) 的任何变更， 还能给网络安全策略的制订提供依据，而且它应该管理配置简单，使非专业人员 也可以容易地完成配置管理。入侵检测的规模还应根据网络规模、系统构造和安 安 图2 1 1 入侵检测系统原理图 全需求的改变而改变。入侵检测系统在发现入侵后，应及时做出响应，包括切断 网络连接，记录事件和报警等，保证网络安全稳定地运行。 2 2 入侵检测系统的分类 表2 2 1 入侵检测的分类 理 分类标准入侵检测 基于主机的入侵检测 数据源 基于网络的入侵检测 误用入侵检测 检测方法 异常入侵检测 主动入侵检测 反应机制 被动入侵检测 分布式入侵检测 体系结构 集中式入侵检测 实时入侵检测 处理时间 。 事后入侵检测 。 9 硕士论文 基于距离的边缘抛弃聚类算法及其在入侵检测中豹应用 入侵检测系统有不同的分类标准。根据数据源采集的不同位置可分为基于网 络的i d s 和基于主机的i d s ；根据其检测方法可分为基于异常检测的i d s 和基于 误用检测的i d s ；根据反应机制可分为主动i d s 和被动i d s ：根据处理时间可分 为事后处理的i d s 和实时i d s ；根据体系结构分为分布式i d s 和集中式i d s 。本 节将具体介绍基于网络和基于主机的i d s 、基于异常检测和基于误用检测的 i d s 。 2 2 1 按数据源分类 2 2 1 1 基于主机的入侵检测系统 基于主机入侵检测系统( h o s t - b a s e di n t r u s i o nd e t e c t i n gs y s t e m ，h i d s ) 的检 测对象主要是主机系统和系统本地用户，检测系统可运行在被检测的主机或单独 的主机上。检测原理是以系统日志、主机的审计数据和应用程序日志作为数据源， 利用误用检测或异常检测技术从中发现可疑事件。图2 2 1 1 1 显示了基于主机的 入侵检测系统模型。 图2 2 1 1 1 基于主机的入侵检测系统模型 1 0 基于主机入侵检测系统的特点有： ( 1 ) 监视特定的系统活动：基于主机的入侵检测系统能监视用户对文件的访 问活动，包括访问文件、修改文件权限、执行文件、建立新的可执行文件、试图 访问特许服务等。 ( 2 ) 适用于交换和加密环境：基于主机的检测系统通过协议分析可以检查加 密的数据，发现一些诸如加密环境下的s q l 注入这样的应用层攻击。 ( 3 ) 不要求额外的硬件：基于主机的入侵检测系统存在于现有的网络结构之 中，包括文件服务器、w e b 服务器、邮件服务器及其他的共享资源，这使得基 于主机的入侵检测系统的利用效率很高，不需要在网络上安装专门的设备，可以 节省投资。 基于主机入侵检测系统的缺点是： ( 1 ) 容易受到攻击：入侵者可以通过调用某些系统特权或调用本身比审计更 低级的操作来逃避审计。 ( 2 ) 不能检测到网络攻击：利用审计记录无法检测网络攻击，例如扫描、地 址欺骗等两络攻击。 ( 3 ) 部署不方便，部署任务大，不利于统一管理。由于基于主机入侵检测系 统必须安装在需要保护的设备上，这必定降低该设备的工作效率；如果全面布署 主机入侵检测系统则会增加管理的难度并增加成本；如果只在一部分主机上安 装，则那些未安装主机入侵检测系统的机器将成为保护的盲点，入侵者将会有机 可乘。 2 2 1 2 基于网络的入侵检测系统 基子网络的入侵检测系统( n e t w o r k - b a s e di n t r u s i o nd e t e c t i n gs y s t e m ，n i d s ) 通过捕获并分析网络数据来进行检测，如图2 2 1 2 1 。一个基于网络的入侵检测 系统可以监控大量信息，它通常由一组目的单一的主机组成，它们在网络中的不 同部分“窃听”或捕获网络流量，并向管理控制台报告攻击行为。由于在基于网 络的入侵检测系统使用的主机上不运行其它的应用，它们可以避免受到攻击许 多这样的主机甚至可以处于“保密”模式，从而使得攻击者很难发现和定位。 基于网络入侵检测系统的特点有： ( 1 ) 能够检测到基于主机的入侵检测系统无法检测的网络入侵行为，比如可 以检查i p 数据包的头部发现地址欺骗。 ( 2 ) 能够进行实时检测和响应，旦发现入侵行为就立即中止攻击。 硕士论文 基于距离的边缘抛弃聚类算法及其在入侵检测中的应用 图2 2 1 2 1 基于网络的入侵检测系统 ( 3 ) 攻击者不易转移证据：入侵对象不容易销毁证据，被截取的数据不仅包 括入侵的方法，还可定位入侵对象的信息。 。 ( 4 ) 成本低，安装维护方便：基于网络的i d s 可在几个关键访问点上进行策 略配置，以观察发往多个系统的网络通信。所以它不要求在许多主机上装载并管 理软件。由于需监测的点较少，因此对于一个公司的环境来说，安装维护的成本 低。 ( 5 ) 操作系统无关性：基于主机的系统必须在特定的、没有遭到破坏的操作 系统中才能正常工作，生成有用的结果。相比之下，基于网络的入侵检测系统不 受主机操作系统的影响。 基于网络入侵检测系统的缺点有： ( 1 ) 检测范围有限：因为网络入侵检测系统只检查它直接连接网段的通信， 不能检测在不同网段的网络包。在使用交换以太网的环境中就会受到监测范围的 局限。 ( 2 ) 对带宽要求高，处理能力要求商：基于网络的入侵检测系统，需要向网 络中发送报警等其他信息，需要占用一定的带宽；同时在高速网络中，还必须能 处理大量数据包的能力，对系统的硬件要求较高。 ( 3 ) 不适用于加密环境：网络中加密传输的数据将越来越多，比如加密邮件。 基于网络的入侵检测系统一般不可能对所有加密数据包进行检查，否则将大大影 响检测效率，导致不适应高速网络环境。 ( 4 ) 自身的安全受到威胁：由于基于网络的入侵检测系统本身处于网络之 中，也会受到网络攻击，因此自身的安全也显得重要。 2 2 2 按检测方法分类 入侵检测按检测方法可分为异常入侵检测和误用入侵检测。 2 2 2 1 异常入侵检测 异常入侵检测1 2 q 1 2 2 是指根据本地计算机和网络系统中的异常行为和使用资 源的情况柬检测入侵的方法，如图2 2 2 1 1 。异常入侵检测的假设条件是对攻击 行为的检测可以通过观察当前活动与系统历史正常活动情况之间的差异来实现。 异常入侵检沏8 通常都会建立一个关于系统j 下常活动的状态模型并不断进行更新， 然后将用户当前的活动情况与这个正常模型进行对比，如果发现了超过设定阀值 的差异程度，则指示发现了非法攻击行为。通常异常入侵检测分为：静态异常检 测和动态异常检测。 修改现有规 图2 2 2 1 1 异常入侵检测 1 3 此类检测技术的优点在于它能够发现任何企图发掘、试探系统最新和未知漏 洞的行为，同时在某种程度上。它较少依赖于特定的操作系统环境。另外，其对 合法用户超越其权限的违法行为的检测能力大大加强。 较高的误警率是此种方法的主要缺陷，因为信息系统所有的正常活动并不一 定在学习建模阶段就被全部了解。另外，系统的活动行为是不断变化的，这就需 要不断地在线学习。该过程带来两个可能后果，其一是在学习阶段，入侵检测系 统无法正常工作，否则就会生成额外的虚假警告信号。其二是在学习阶段，系统 正遭受着非法的入侵攻击。带来的后果是，入侵检测系统的学习结果中包含了相 关入侵检测行为的信息，这样。系统将无法检测到该种入侵行为。 异常检测是通过已知来推倒未知的技术，目前常用的方法主要是概率统计、 神经网络、数据挖掘中的分类和聚类方法以及人工免疫。 ( 1 ) 概率统计：概率统计【1 2 】方法是异常检测技术中应用最早也是最多的一种 方法。检测器根据用户对象的动作，为每个用户都建立一个用户特征表，通过比 较当前特征与已存储定型的以前特征，从而判断是否是异常行为。 由于利用了成熟的概率统计理论，基于概率统计的异常检测技术是一种发展 较早而且比较成熟的检测技术，它通过对能够描述用户或系统的行为的变量进行 统计和分析，来判定用户或系统的行为是否异常。用于描述特征的变量有：操作 的密度、审计记录分布、数值尺度等。而这些变量所记录的操作包括c p u 的使 用、t 0 的使用、使用的时闻和地点、编辑器和编译器的使用、目录和文件的创 建、删除、访问和修改，以及网络活动等。该方法从审计记录中抽取出一些入侵 检测的度量进行统计，为每个用户建立一个正常行为特征的统计轮廓。当用户行 为与i f 常轮廓有差异时就认为可能有入侵发生。 ( 2 ) 神经网络：利用神经网络【冽【2 5 l 检测攻击的基本思想是用一系列信息单元 来训练神经单元，这样在给定一组输入后，就可以预测输出。与统计理论相比， 神经网络更好地表达了变量自j 的非线性关系，且能自动学习和更新。 网络的输入层是用户当前输入的命令和已执行过的若干个( 如s 个) 命令； 用户执行过的命令被神经网络使用来预测用户输入的下一个命令。若神经网络被 训练成预测用户输入命令序列集合，则神经网络就构成用户的轮廓框架。当用这 个神经网络预测不出某用户正确的后继命令，即在某种程度上表明了用户行为与 其轮廓框架的偏离，这时有异常事件发生，以此就能进行异常入侵检测。 输入层指示出用户最近输入执行的s 个命令序列。通过将每个输入的某种方 式编码，把输入命令表示成几个值或级别，7 能够成为命令唯一标识。这样，输入 层上的输入值准确地同用户最近输入执行命令序列相符合。输出层由单一的多层 输出构成来预测用户发出的下个命令。这种方法的优点是： 1 4 硕士论文 基于距离的边缘抛弃聚类算法及其在入侵检测中的应用 a 不依赖于任何有关数据种类的统计假设； 。 b 能较好地处理噪声数据； c 能自然地说明各种影响输出结果测量的相互关系。 。 这种方法的弱点是：， 丸网络的拓扑结构和每个元素分配权重必须经过多次的尝试与失败的过程 才能确定。 b 在设计神经网络的过程中，s 的大小与其它的变量无关。如果s 设置太 低，则工作就差；设置太高，网络中需要处理的数据则太多。 ( 3 ) 基于数据挖掘的方法 计算机联网导致大量审计记录，而且审计记录大多是文件形式存放。若单独 依靠手工方法去发现记录中异常现象是不够的，往往操作不便，不容易找出审计 记录间相互关系。w e n k el e e 和s a l v a t o r ej s t o l f o 3 2 6 将数据挖掘技术应用到入侵 检测研究领域中，从审计数据或数据流中提取感兴趣的知识，这些知识是隐含的、 事先未知的潜在有用信息，提取的知识表示为概念、规则、规律、模式等形式， 并用这些知识去检测异常入侵和已知的入侵。基于数据采掘异常检测方法目前已 有现成的算法可以借用，这种方法的优点在于适应处理大量数据情况。但是，对 于实时入侵检测则还存在问题，需要开发出有效的数据采掘算法和适应的体系。 应用到入侵检测系统中的数据挖掘算法，目前主要是关联分析、序列分析和分类 分析算法。 a _ 关联分析( a s s o c i a t i o n s ) ：关联分析用于发现关联规则，这些规则展示属性 一值频繁地在给定数据集中一起出现的条件。关联分析的目的是从已知的事务集 w 中产生数据项集之间的关联规则，保证其支持度( s u p p o r t ) 和置信度( c o n f i d e n c e ) 大于用户预先指定的最小支持度( r a i n - s u p p o r t ) 和最小置信度( r a i n - c o n f i d e n c e ) 。关 联分析能够挖掘出隐藏在数据间的相互关系。如果两项或多项之间存在关联，那 么其中一项的属性值就能通过其它属性值进行预测。最著名的一种关联规则挖掘 算法是a p r i o r i 算法。在入侵检测中，可以用关联分析来找出入侵者的各种入侵 行为之间的关联特征。 b 分类分析( c l a s s i f i e r s ) ：数据分类的目的是提取数据库中数据项的特征属 性，生成分类模型。该模型可以把数据库中的数据项映射到给定类别中的一个， 用这些分类的描述或模型来对未知的新的数据进行分类。其输出结果可以用规则 集或决策树的形式表示。当用于入侵检测时，可以先收集有关用户或应用程序的 “正常”和“非正常”的审计数据，然后用分类分析得到规则集用来预测新的审 计数据属于正常还是异常行为。 c 序列模式分析( s e q u e n t i a lp a t t e r n s ) ：关联分析用于发掘数据记录中不同数 硕士论文基于距离的边缘抛弃聚类算法及其在入侵检测中的应用 据项之间的关联性，而序列分析则是发现不同数据记录之间的相关性。分析的目 标是在事务数据库中发掘出大序列模式( 1 a r g es e q u e n c e ) ，即满足用户指定的最小 支持度要求的大序列，并且该序列模式必须是最高序列( m a x - s e q u e n c e ) 。这类方 法可以发现审计数据中的一些经常以某种规律出现的事件序列模式。频繁发生的 事件序列模式可以帮助在构造入侵检测模型时选择有效的统计特征。 a 聚类分析( c | u s t c r i n g ) ：与分类分析不同，聚类分析数据对象，而不考虑己 知的类标记。一般情况下，训练数据中不提供类标记，而聚类方法可以用于产生 这种标记。对象根据最大化类内的相似性、最小化类间的相似性的原则进行聚类 或分组。上面所述的都是通用算法，这些算法没有考虑任何领域专业知识，所以 算法运行会产生大量无意义的结果。在实际的入侵检测系统中，必须对这些算法 根据网络安全的先验知识等进行调整或改进。 ( 4 ) 基于生物免疫的方法 生物免疫系统的作用与计算机入侵检测系统的作用十分相似，它们都是防御 体系。免疫系统最基本也是最重要的能力是识别“自我月e 自我( s e l f n o s s l f ) ”， 也就是说能够识别哪些属于正常机体，不属于正常的就认为是异常的。采用类似 生物免疫系统原理的检测系统就是基于生物免疫系统的入侵检测系统。 基于生物免疫系统的入侵检测系统的关键在于检测器的产生，它利用生物免 疫系统的阴性选择原则，产生“合格”的检测器，来识别“正常”和“异常”。 它可以检测出已知或未知的各种“异常”，克服了现有各种入侵检测技术不能检 测未知入侵的不足。 2 2 2 2 误用入侵检测 误用入侵检测【2 i l 倒是指利用已知的攻击本地主机和网络系统的入侵模式来 识别入侵的方法。误用入侵检测的应用是建立在对过去各种已知入侵方法和系统 缺陷知识的积累之上的，它需要首先建立一个包含上述已知信息的数据库，然后 在收集到的网络信息中寻找与数据库项目相关的蛛丝马迹。当发现符合条件的活 动线索后，它就会触发一个警告。这就是说，任何不符合特定匹配条件的活动都 将会被认为是合法和可以接受的，哪怕