（通信与信息系统专业论文）基于神经网络的入侵检测系统研究.pdf

青岛理工大学工学硕士学位论文 摘要 随着i n t e m e t 在全世界的日益普及，政府、军队、企业等部门越来越多地利用 网络进行信息的传输与管理。虽然计算机与网络技术为信息的获取、传输与处理 提供了越来越先进的手段，但同时也为入侵者提供了方便，计算机网络的不安全 性已经给人们带来了巨大损失。 传统的安全保护类技术已无法满足系统需求。防火墙虽然能够有效地防止非 法信息通过它进行传输，但对于不通过它传输的非法信息，它却无法发现。入侵 检测是一种更深层次上进行的主动网络安全防御措施，它不仅可以通过监测网络 实现对内部攻击、外部入侵和误操作的实时保护，有效弥补防火墙的不足，而且 能结合其它网络安全产品，对网络安全进行主动、实时的全方位保护。入侵检测 技术已经成为网络安全领域必不可少的手段。 在众多的入侵检测方法中，神经网络以其强大的攻击模式分析能力、处理噪 声数据的能力、简单的建模能力和可识别未知攻击等优点，吸引了人们的注意力。 本文从介绍入侵检测的基本概念着手，分析现有入侵检测模型常用的方法和 这些方法的优缺点，对神经网络的基本概念和研究现状做了简要说明，分析神经 网络应用于入侵检测系统的可行性，并且针对传统b p 算法存在的不足，提出了一 种改进的b p 算法。 在此基础上，提出了一个基于神经网络的入侵检测系统模型，详细阐述了模 型各模块的功能和工作原理，并对各模块进行了设计与实现。最后在m a t l a b 平台 下，使用“k d dc u p1 9 9 9 数据集”，对神经网络模块进行仿真实验。实验结果表 明，使用改进的b p 算法能取得较高的检测率和较低的误报率。将神经网络用于入 侵检测系统，可以有效避免传统入侵检测技术的缺点，提高检测性能，可见神经 网络在入侵检测方面有较好的应用前景。 关键词入侵检测；网络安全；神经网络；b p 算法 青岛理工大学工学硕士学位论文 a bs t r a c t w i t ht h ei n c r e a s i n g p o p u l a r i t y o ft h ei n t e r n e ti nt h ew o r l d ，g o v e r n m e n t d e p a r t m e n t s ，t h ea r m y , a n de n t e r p r i s e sa r ei n c r e a s i n g l yu s i n gn e t w o r kt ot r a n s m i ta n d m a n a g ei n f o r m a t i o n a l t h o u g ht h ec o m p u t e ra n dn e t w o r kt e c h n o l o g yp r o v i d e sm o r ea n d m o r ea d v a n c e dm e t h o d sf o ri n f o r m a t i o na c q u i s i t i o n ，t r a n s m i s s i o na n dp r o c e s s i n g ，b u t a l s op r o v i d e sc o n v e n i e n c ef o ri n t r u d e r s ，t h ei n s e c u r i t yo ft h ec o m p u t e rn e t w o r kh a s b r o u g h tg r e a tl o s st op e o p l e t h et r a d i t i o n a ls e c u r i t yp r o t e c t i o nt e c h n o l o g yc a n n o ts a t i s f ys y s t e m a t i cd e m a n d n o w a l t h o u g hf i r e w a l lc a ne f f e c t i v e l yp r e v e n ti l l e g a li n f o r m a t i o nt r a n s m i t t i n gt h r o u g h i t , b u tc a n n o tn o td i s c o v e rt h ei l l e g a li n f o r m a t i o nw h i c hn o tt r a n s m i tt h r o u g hi t i n t r u s i o n d e t e c t i o ni sad e e p l yk i n do fa c t i v en e t w o r ks e c u r i t yp r o t e c t i o nm e a s u r e ，i tc a n n o to n l yo f f e rr e a l - t i m ep r o t e c t i o nf o rt h ei n t e r n a la n de x t e r n a li n v a s i o na n dw r o n g o p e r a t i o nt h r o u g hm o n i t o r i n gn e t w o r k ，e f f e c t i v e l ym a k eu pf o rt h es h o r t a g eo ff i r e w a l l ， b u ta l s oc a nc o u p l e 丽t l lo t h e rn e t w o r ks e c u r i t yp r o d u c t s ，o f f e ra c t i v e ，r e a l - t i m e p r o t e c t i o n f o rn e t w o r ks e c u r i t y i n t r u s i o nd e t e c t i o nt e c h n o l o g yh a sb e c o m et h e i n d i s p e n s a b l em e a n si nt h ea r e ao ft h en e t w o r ks e c u r i t y a m o n gt h ev a r i o u sm e t h o d so ft h ei n t r u s i o nd e t e c t i o n ，n e u r a ln e t w o r k ，w i t l li t s p o w e r f u la t t a c km o d ea n a l y s i sa b i l i t y , t h ea b i l i t yt oh a n d l en o i s ed a t a , s i m p l em o d e l i n g a b i l i t y , t h ea b i l i t yt oi d e n t i f yu n k n o w na t t a c k s ，e t c ，a t t r a c t sp e o p l e sa t t e n t i o n t h ep a p e rs t a r t sw i t ht h ei n t r o d u c t i o no ft h eb a s i cc o n c e p to fi n t r u s i o nd e t e c t i o n ， a n a l y s i st h ec o n v e n t i o n a lm e t h o d so fi n t r u s i o nd e t e c t i o nm o d e la n dt h ea d v a n t a g e sa n d d i s a d v a n t a g e so ft h e s em e t h o d s ，g i v e sab r i e fd e s c r i p t i o no ft h eb a s i cc o n c e p to fn e u r a l n e t w o r ka n dt h er e s e a r c hs t a t u s ，a n a l y s i st h ef e a s i b i l i t yo ft h ea p p l i c a t i o no fn e u r a l n e t w o r k st ot h ei n t r u s i o nd e t e c t i o ns y s t e m ，p r e s e n t sa ni m p r o v e db pa l g o r i t h mo nt h e s h o r t c o m i n g so ft h et r a d i t i o n a lb pa l g o r i t h m b a s e do nt h i s ，w ep u tf o r w a r da ni n t r u s i o nd e t e c t i o ns y s t e mm o d e lb a s e do nn e u r a l n e t w o r k , e l a b o r a t et h ef u n c t i o n sa n dt h ew o r k i n gp r i n c i p l eo fe a c hm o d u l eo ft h em o d e l i nd e t a i l ，t h e n ，d e s i g ne a c hm o d u l eo ft h em o d e l f i n a l l y , s i m u l a t i o ne x p e r i m e n t so ft h e 青岛理工大学工学硕士学位论文 n e u r a ln e t w o r km o d u l eh a v eb e e nc o n d u c t e db yu s i n gt h e ”k d dc u p19 9 9d a t a ”b a s e d o nm a t l a b e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ei m p r o v e db pa l g o r i t h mc a l lb r i n gh i g h e r d e t e c t i o nr a t ea n dl o w e rf a l s ea l a r mr a t e a p p l y i n gn e u r a ln e t w o r kt oi n t r u s i o nd e t e c t i o n s y s t e mc a ne f f e c t i v e l ya v o i dt h ed i s a d v a n t a g e so ft r a d i t i o n a l i n t r u s i o nd e t e c t i o n t e c h n o l o g i e sa n di m p r o v et h ed e t e c t i n gp e r f o r m a n c e ，n e u r a ln e t w o r kh a sg o o dp r o s p e c t s i nd e v e l o p m e n ta n da p p l i c a t i o nf o ri n t r u s i o nd e t e c t i o n k e y w o r d s ：i n t r u s i o nd e t e c t i o n ；n e t w o r ks e c u r i t y ；n e u r a ln e t w o r k ；b pa l g o r i t h m i i i 青岛理工大学工学硕士学位论文 1 1 课题研究背景 第一章绪论弟一早珀。f 匕 1 9 8 8 年1 1 月3 日这一天被称为“黑色星期四，美国一个叫r o b e r tm o r r i s 的 年轻人把一个“蠕虫”程序放到了i n t c r n e t 上，导致了上千台网上机器瘫痪【l 】。这 个被称为“m o r r i s 蠕虫程序的出现，改变了许多人对网络安全性的看法，并引 起了人们对网络安全问题的重视。而在该事件之前，人们的信息安全概念主要是 数据加密，把重点放在了保护存储在不同介质上和传输过程中的数据。随着i n t c r n e t 在全世界的日益普及，政府、军队、企业等部门越来越多地利用网络传输与管理 信息。虽然计算机与网络技术为信息的获取、传输与处理提供了越来越先进的手 段，但同时也为入侵者提供了方便之门，网络“黑客”的非法活动日益猖獗，人 们对计算机与网络中传输信息的安全性也越来越担心了。 计算机网络的不安全性已经给人们带来了巨大损失，有关统计数据显示，每 年全球因计算机安全系统被破坏而造成的损失，达数百亿元，并且上升趋势明显。 世界上著名的商业网站几乎都被入侵过，如y a h o o 、b u y 、e b a y 、a m a z o n 、c n n 等，连专门从事网络安全的r s a 也曾遭到黑客的光顾【2 】。 信息安全问题越来越受到重视，它已经不能单纯地通过数据加密技术加以解 决，还需要解决硬件系统、操作系统、网络、数据库系统和应用系统的整体安全 问题【3 】。信息技术发展到今天，防火墙、入侵检测等信息安全技术应运而生。 从技术理论来讲，防火墙是一种先进的基于应用层的网关，不仅能完成传统 的过滤任务，还能够为各种网络应用提供相应的安全服务【4 】。在很多人的印象中， 系统只要装了防火墙，就可以高枕无忧了。然而事情并没有想象中的这么简单， 防火墙能够有效地防止非法信息通过它进行传输，但对于不通过它传输的非法信 息，它却无能为力。也就是说，入侵者可以通过寻找防火墙可能存在的后门迸行 入侵。另外，对于内部用户的资料泄露及内部用户的越权行为，防火墙也不起作 用，所以，仅仅依靠防火墙保证网络安全是远远不够的。 总起来说，防火墙的不足主要表现在以下几个方面：( 1 ) 防火墙不对数据包 的内容进行分析，对规则中开放的端口和提供的服务不执行保护功能；( 2 ) 防火 青岛理工大学工学硕士学位论文 墙不能防止利用标准网络协议中的缺陷进行的攻击。一旦防火墙允许了某些标准 的协议，那么防火墙对利用该协议中缺陷进行的攻击将无能为力；( 3 ) 在遭到黑 客攻击后，因为防火墙不保留数据包内容日志，所以事后无法把防火墙日志作为 检查日志进行分析；( 4 ) 防火墙不能防止来自内部的泄密行为，对来自内部的非 法、越权行为几乎无能为力【2 j 。 同时，由于防火墙处于网关的位置，如果对进出攻击作太多判断的话，可能 会严重影响网络性能。与此同时，入侵检测技术作为一种新的安全手段，正受到 越来越多的重视，因为它恰恰可以弥补防火墙的不足。如果把防火墙比作一栋大 楼里面的门卫，负责对每个进出的数据包进行检查，那么入侵检测系统就相当于 在大楼里巡逻的保安，能够及时发现大楼内部发生的非授权行为。入侵检测技术 已经在各种不同的环境中发挥其关键作用。 1 2 课题研究的目的及意义 ( 一) 研究目的 传统的网络入侵检测方法日益显现出种种弊端，日益复杂的网络系统结构， 广泛采用的分布式应用环境，海量存储和高带宽的传输技术，都给传统的针对单 机或小规模网络的入侵检测系统带来很大冲击。 为了及时有效的减少因计算机安全系统被破坏而造成的损失、避免同样入侵 行为再次发生、增强系统的防范能力，我们迫切需要从系统结构、策略管理、检 测技术等各个层次上提出并实现新的入侵检测方法，以适应智能化、分布式系统 的要求。由于神经网络具有强大的攻击模式分析、处理噪声数据的能力、简单的 建模能力、可识别未知攻击等优点，为了解决传统入侵检测技术存在的问题，考 虑把神经网络引入入侵检测系统当中。 本课题就是针对这种情况，设计一个基于神经网络的入侵检测系统，尝试克 服传统入侵检测系统存在的缺点。 ( 二) 研究意义 随着计算机网络和通信技术的快速发展，上网的关键部门越来越多，同时敏 感信息也越来越多，我们迫切需要具有自主版权的入侵检测产品。但是国内入侵 检测技术，尤其是具有良好体系结构及智能特性的入侵检测系统仍停留在理论研 2 青岛理t 大学工学硕士学位论文 究和实验样品初级阶段，或者是在防火墙中集成较为初级的入侵检测模块，从网 络安全的角度出发，入侵检测应受到人们的高度重视，其产品具有较大的发展空 间【5 1 。 入侵检测是一种从更深层次上进行的主动网络安全防御措施，它不仅可以通 过监测网络实现对内部攻击、外部入侵和误操作的实时保护，有效地弥补防火墙 的不足，而且能结合其它网络安全产品，对网络安全进行全方位的保护，具有主 动性和实时性的特剧6 1 。计算机通信网络安全问题己不再局限于学术问题，而是直 接关系到我们每个人自身的信息安全，乃至国家的信息安全。入侵检测系统在当 今社会已发挥而且必将发挥着更大的作用，因此，入侵检测的研究变得十分必要。 1 3 研究内容与工作安排 本文通过对传统入侵检测系统进行分析，针对目前入侵检测系统存在的问题， 提出一种基于神经网络的入侵检测系统模型，并对模型的各个部分进行了设计与 实现，旨在提高系统性能，更好地满足安全需求。 全文分为六章，各章内容安排如下： 第一章阐述课题研究的目的、意义，介绍本文的研究内容。 第二章阐述入侵检测的概念，介绍入侵检测的发展历史和研究现状、入侵检 测的技术分类和通用模型，对入侵检测系统的局限性和发展趋势进行分析和探讨。 第三章介绍神经网络的有关内容，重点描述神经网络中的b p 算法，分析传统 b p 算法存在的不足，在此基础上，提出一种改进的b p 算法，论述了神经网络应 用于入侵检测系统的优越性和可行性。 第四章对基于神经网络的入侵检测系统模型进行整体结构设计，详细讲述各 模块的设计思路及实现方法。 第五章通过仿真实验，对实验结果进行分析，验证改进的b p 算法比传统算法 能带来更高的检测率，更好地满足系统需要，提高系统性能。 第六章对全文进行总结，并对未来的工作进行展望。 3 青岛理工大学工学硕士学位论文 第二章入侵检测系统概述 2 1 入侵检测技术及其发展 2 1 1 入侵检测的概念 在8 0 年代早期，a n d e r s o n 首次使用“威胁”这一概念，将入侵企图或威胁定 义为“未经授权蓄意尝试访问信息、窜改信息，使系统不可靠或不能使用”r 丌。 h e a d y 给出了另一种入侵的定义，入侵是指有关试图破坏资源的完整性、机密性及 可用性的活动集合【8 】，s m a h a 从分类角度指出入侵包括尝试性闯入、伪装攻击、安 全控制系统渗透、泄露、拒绝服务、恶意使用6 种类型【9 】。 入侵检测( i n t r u s i o nd e t e c t i o n ) 是检测和识别针对计算机系统和网络系统，或 者更广泛意义上的信息系统的非法攻击，或者其他违反安全策略事件的过程。它 是一种动态的安全防护技术【l o 】，通过从计算机系统或者网络环境中采集数据，分 析数据，发现可疑行为或者异常事件，并采取一定的响应措施，针对各种攻击和 误操作给系统提供安全保护，尽可能地降低损失。 入侵检测系统( i n t r u s i o nd e t e 圮t i o ns y s t e m ，简称i d s ) 的主要功能包括【1 1 - 1 2 1 ：( 1 ) 监视、分析用户及系统活动；( 2 ) 检查系统配置及存在的漏洞；( 3 ) 评估系统关 键资源和数据文件的完整性；( 4 ) 识别已知的攻击；( 5 ) 统计分析异常行为；( 6 ) 管理操作系统的日志，并识别违反用户安全策略的行为。 2 1 2 入侵检测的发展历史与研究现状 对入侵检测的研究最早可以追溯到1 9 8 0 年，在这一年的4 月，p j a m e s a n d e r s o n 为美国空军做了一份题为“c o m p u t e rs e c u r i t yt h r e a tm o n i t o r i n ga n d s u r v e i l l a n c e ”( 计算机安全威胁监控与监视) 的技术报告【2 1 ，第一次提出并详细阐 述了入侵检测的概念。在报告中，他提出了一种对计算机系统风险和威胁的分类 方法，将计算机系统威胁分为三种：外部渗透、内部渗透和不法行为，并提出利 用审计跟踪数据监视入侵活动的思想。这份报告被公认为是入侵检测的开山之作。 在1 9 8 4 到1 9 8 6 年间，美国乔治敦大学的d o r o t h yd e n n i n g 和s r i c s l ( s t a n f o r d 4 青岛理工大学工学硕士学位论文 r e s e a r c hi n s t i t u t c o m p u t c rs c i e n c el a b o r a t o r y ，s k i 公司计算机科学实验室) 的p e t e r n e u m a n n 研究并实现了第一个实时入侵检测系统模型，取名为i d e s ( i n t r u s i o n d e t e c t i o ne x p e r ts y s t e m ) 1 3 - 1 4 。它独立于特定的系统平台、应用环境、系统弱点 以及入侵类型，为构建入侵检测系统提供了一个通用的框架。1 9 8 7 年，d o r o t h y d e n n i n g 的论文“a ni n t r u s i o nd e t e c t i o nm o d e l 提出了入侵检测系统的抽象模型， 首次提出将入侵检测的概念作为一种计算机系统安全防御问题的措施，奠定了入 侵检测系统商业产品的理论基础。 在很长一段时间里，入侵检测系统都是依靠受保护主机来收集审计数据，在 此基础上进行检查和分析，监测目标主要是主机系统和本地用户，系统通常运行 在受保护的主机上，依赖于审计数据和系统日志的完整性及准确性。直到1 9 9 0 年， 加州大学戴维斯分校的l t h c b c d c i n 等人开发的n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 【l5 】才使这种情况得以改观，该系统第一次直接将网络数据流作为审计数据来源， 这样就能够在不将审计数据转换成统一格式的情况下监控异种主机，是入侵检测 领域继i d e s 之后又一个里程碑式的产品，其基本架构仍然影响着现在的许多实际 系统。从此，入侵检测的两大阵营正式形成：基于网络的入侵检测和基于主机的 入侵检测。 2 0 世纪9 0 年代开始，出现了很多新的入侵检测研究方法，尤其是智能i d s ，包 括神经网络、遗传算法、模糊识别、免疫系统、数据挖掘等【1 乒1 9 1 ，研究者们一直 在进行理论和实践方面的探索。目前，s r l c s l ( 美国斯坦福研究院的计算机科 学实验室) 、普渡大学、加州大学戴维斯分校、洛斯阿拉莫斯国家实验室、哥伦比 亚大学、新墨西哥大学等机构在这个领域的研究代表了当前的最高水平。 国内对入侵检测的研究起步较晚，理论的积累和创新都落后于国外的水平， 目前处于对国外技术的跟踪研究状态。近年来，包括中科院、清华大学、国防科 技大学等在内的单位开展了入侵检测的理论研究和产品开发工作，与国外的i d s 水平还有一定差距。 从目前国内外已有的入侵检测的产品来看，8 0 以上的入侵检测系统是基于网 络的；在分析策略上，多数以基于规则的方法为主：对网络数据流的处理，多数 是基于协议分析的方法，不再是简单的模式匹配。总的来说，入侵检测系统已经 由简单模式匹配的第一代步入了以规则匹配和协议分析为代表的第二代。神经网 络、免疫学、遗传算法、数据挖掘等技术在入侵检测系统中的应用以及入侵检测 5 青岛理工大学工学硕士学位论文 系统的协作成为热点【2 0 之1 1 ，第三代入侵检测系统将是智能化技术与第二代技术结 合的智能型入侵检测系统，我们把课题研究定位在探讨神经网络技术在入侵检测 系统中的应用上面，也是考虑到了这个因素。 2 2 入侵检测系统的分类及通用模型 2 2 1 入侵检测系统的分类 入侵检测系统的分类可以从不同的角度进行。 根据数据来源的不同，可以将入侵检测系统分为三类：基于主机的入侵检测 系统、基于网络的入侵检测系统和分布式入侵检测系统。下面分别加以介绍。 1 基于主机的入侵检测系统 基于主机的入侵检测系统通常被安装在被保护的主机上，对该主机的网络实 时连接以及系统审计日志进行分析和检查【2 2 1 ，一旦发现可疑行为和安全违规事件， 系统就会向管理员报警，以便采取措施。从技术发展的历程来看，入侵检测是从 主机审计的基础上开始发展的，因此早期的入侵检测系统都是基于主机的。 它的优点是：不受带宽的限制，通过密切监视系统日志，能够检1 1 1 1 i 发生在 主机系统高层的复杂攻击行为，工作起来效率高，误警率低。它的缺点是：第一， 检测结果取决于所收集数据或系统日志的准确性和完整性以及对安全事件的定 义，入侵者有可能通过使用某些系统特权或调用比审计本身更低级的操作来逃避 审计。第二，严重依赖于特定的操作系统平台，可移植性差。第三，由于系统安 装并运行于主机上，会影响宿主机的性能。另外，它不能检测众多基于网络的攻 击，如域名欺骗、端口扫描等。 2 基于网络的入侵检测系统 基于网络的入侵检测系统一般安装在需要保护的网段中，实时监视网段中传 输的数据包，并对这些数据包进行分析和检测。它的工作层面是在路由器或主机 级别扫描网络分组、审查分组信息，并在特定的文件中详细记录可疑分组，为这 些可疑分组指定严重级别，超越一定级别后，它就会给管理员发送警告信息，以 便管理员进一步调查。 它的优点是：首先，它是实时检测整个网段，而不仅仅是保护主机。其次， 6 青岛理工大学工学硕士学位论文 r 与平台无关。第三，隐蔽性好。由于不需要在每台主机上安装，所以不容易被攻 击者发现。另外，基于网络的入侵检测系统不需要任何特殊的审计和登录机制， 对主机和网络的性能影响比较小。存在的不足：只能检测经过本网络的活动，精 确度较低，在交换式网络环境下难以配置，防入侵欺骗能力较差。对主机内部普 通用户造成的安全威胁无从知晓。另外，不能有效审查网络中加密数据流的内容。 3 分布式入侵检测系统 基于主机的和基于网络的入侵检测系统都有各自的优点和不足，二者可以互 为补充。许多网络安全解决方案都需要同时采用基于主机和基于网络的数据源， 分布式入侵检测系统应运而生。分布式入侵检测系统通过分析主机的审计日志和 经过网络的信息流，保护包括主机、路由器在内的整个网络。这种形式结合了前 面两种方式的优点，安全性更强，是当前大型入侵检测系统的发展趋势。 入侵检测系统所采用的检测方法可以分为两类：滥用检测( m i s u s ed e t e c t i o n ) 和异常检测( a n o m a l yd e t e c t i o n ) 。根据系统采用检测方法的不同，可以分为滥用 入侵检测系统和异常入侵检测系统。 1 滥用检测 滥用检测也被称为基于特征的检测2 3 1 。这种方法是通过分析各种类型的攻击 手段，对入侵行为进行特征化描述，建立某种或某类入侵行为的攻击特征集合， 对收集到的数据进行处理后，再进行特征匹配，如果发现当前行为与某个入侵行 为的特征集合一致，就表示发生了这种入侵。 因为这种方法依据具体的特征库进行判断，所以检测准确度高，误报率低， 目前商用的入侵检测系统大多采用这种检测方法。但是由于它的特征库中只存储 了当前已知攻击的类型，所以它只能检测已知的攻击模式，无法检测未知攻击和 已知攻击的变种，因此漏报率较高。 2 异常检测 异常检测也称为基于统计的检测【2 4 1 。异常检测是基于这样一种假设：任何人 的正常行为都是有一定规律的，并且这种规律可以通过分析这些行为产生的日志 信息总结出来，而入侵和滥用行为会与系统历史活动情况有较大差异，通过比较 这些差异就可以判断出是否发生了非法入侵行为。 异常检测需要为用户正常行为建立一个规则集，称为正常行为模式或正常轮 廓，将当前用户的活动与正常轮廓进行对比，如果差异程度超过了设定的阈值范 7 青岛理工大学工学硕士学位论文 围，就认为是发生了异常或入侵行为。异常检测方法具有更强的智能性，可以检 测出未知的入侵行为，虽然可能无法明确指出攻击类型，但是通过报警，可以减 少一些未知攻击可能带来的危害。它的难点在于用户轮廓的建立和对用户轮廓及 审计数据的比较。 另外，入侵检测系统还可以根据各模块的运行方式分为集中式和分布式，根 据时效性分为：脱机分析和联机分析。 2 2 2 入侵检测系统通用模型 1 9 8 7 年d o m i n g 提出了一个基于异常行为的入侵检测模型，如图2 1 所示。 该模型的基本思想是建立并维护一系列描述用户正常使用系统时的行为轮廓，利 用这些行为轮廓监控当前用户的活动，若用户的当前活动与其行为轮廓的差异超 过设定的阈值范围，就认为当前活动是异常的，如：输入登陆口令超过三次，就 被认为异常。 d e n n i n g 定义的这个模型独立于任何系统、应用环境、系统脆弱性或入侵种类， 采用的方法是统计方法和专家系统，提供的是一个通用的入侵检测专家系统框架， 简称为i d e s 模型。该模型能够检测出黑客入侵、越权操作及其他种类的非正常使 用计算机系统的行为，i d e s 模型由主体、客体、审计记录、轮廓、异常记录和活 动规则六部分组成【2 5 1 。 更新规则 图2 - 1d e n n i n g 入侵检测模型 ( 1 ) 主体( s u b j e c t s ) ：在目标系统上启动活动的实体，如用户； ( 2 ) 对象( o b j e c t s ) ：由文件、设备、命令等占有的资源； 8 ( 3 ) 审计记录( a u d i tr e c o r d s ) ：由 六部分组成，其中活动( a c t i o n ) 是主体对目标的操 作，包括读、写、登录、退出等；异常条件( e x c e p t i o n c o n d i t i o n ) 是指系统对主 体该活动的异常报告，例如：违反系统读写权限；资源使用状况( r e s o u r c e - u s a g e ) 是指系统资源的消耗状况，如c p u 、内存使用率等；时间戳( t i m e s t a m p ) 是指 活动发生的时间； ( 4 ) 活动轮廓( a c t i v i t yp r o f i l e ) ：用以保存主体正常活动的有关信息，具体 实现依赖于使用的检测方法； ( 5 ) 异常记录( a n o m a l y r e c o r d s ) ：由 组成，用 以表示异常事件的发生状况； ( 6 ) 活动规则( a c t i v i t yr u l e s ) ：活动规则是判断是否发生入侵的处理引擎， 将接收到的审计记录结合活动轮廓进行分析，对内部规则进行调整或统计信息， 判断出有入侵发生时采取相应措施。 早期的入侵检测系统大多是采用d e n n i n g 模型来实现的。 为了提高i d s 产品、组件及其他安全产品之间的互操作性，实现数据共享， 美国国防高级研究计划署( d a r p a ) 建议建立通用入侵检测框架( c i d f ) 。c i d f 将入侵检测系统分为四个基本组件：事件产生器( e v e n tg e n e r a t o r s ) 、事件分析器 ( e v e n t a n a l y z e r s ) 、响应单元( r e s p o n s eu n i t s ) 和事件数据库( e v e n td a t a b a s e s ) 。 其结构如图2 2 所示。 图2 - 2c i d f 入侵检测框架模型 c i d f 将i d s 需要分析的数据统称为事件( e v e n t ) ，它既可以是截取的网络中 的数据包，也可以是通过系统日志或其他途径得到的信息。 9 青岛理工大学工学硕士学位论文 ( 1 ) 事件产生器。事件产生器的任务是收集与被保护系统相关的事件，对数 据进行过滤，并向系统的其他部分传送该事件。 ( 2 ) 事件分析器。事件分析器负责分析从其他组件收到的事件，产生分析结 果并传送给其他组件。 ( 3 ) 事件数据库。用来存取中间和最终数据，以各系统需要时调用。 ( 4 ) 响应单元。响应单元负责处理接收到的分析结果，在发现入侵行为后被 触发并做出反应，如切断连接、修改文件权限或者只进行报警。 由于c d f 模型采用标准格式g i d o ( g e n e r a li n t r u s i o nd e t e c t i o no b j e c t ，是对事 件进行编码的标准通用格式) 来交换数据，所以其组件也适用于其他环境，提高 了组件之间消息互通和共享的能力，具有很强的可扩展性，目前已得到广泛认同。 2 3 入侵检测系统的局限性及发展趋势 2 3 1 入侵检测系统的局限性 尽管已经有众多商业产品出现，入侵检测系统还存在着一定的局限性，主要 表现在以下几个方面： 1 误报和漏报的矛盾 入侵检测系统检测结果可能出现的错误有误报和漏报。误报是把一个合法的 行为判断成异常或攻击行为；而漏报是把入侵行为判断成了合法的活动。如果误 报率太高，就会降低检测率，降低系统性能。控制误报率，有可能增加漏报率， 也就是说如果忽略了某些异常行为，可能会无法检测出真正的入侵行为。所以说 应该在误报率与漏报率之间权衡利弊，合理选择。 2 恶意信息采用加密方法传输 网络入侵检测系统是通过匹配网络数据包来发现攻击行为的，检测系统一般 假设入侵信息是通过明文传输的，所以对攻击信息稍作改变就能逃过i d s 的检测。 许多系统通过虚拟专用网进行网络互联，如果入侵检测系统对其所使用的隧道机 制不了解，就很可能出现大量的误报和漏报。 3 自身易受攻击 基于网络的i d s 本身就是软件程序，使用一般的网络协议栈对受保护主机的 1 0 青岛理工大学工学硕士学位论文 协议栈行为建模，用以评价网络数据包，攻击者利用协议栈之间的差异，通过修 改分段、序列号和包的标志位，向目标主机发送i d s 难以解释的数据包，就可能 骗过i d s ，那么它所管理的网络可能就得不到有效保护。 4 可扩展性 现在网络及其设备越来越多样化，i d s 必须能够根据其应用环境进行灵活配 置，适应多样性环境中的不同安全策略。其检测方法不应该对环境做出假设，否 则检测系统的可扩展性就会降低。 5 自适应性 自动化工具日趋成熟和多样化、攻击手法越来越复杂，对入侵检测系统的适 应性提出了越来越高的要求。检测算法必须易于扩充，在新的攻击出现时，能及 时地更新检测手段，检测到新的和未知的攻击。因为大部分的入侵检测系统是为 目标系统进行定制，是目标系统特有的，所以重用和重新定位就比较困难，而通 用模式下的系统效率普遍低，且功能有限。 6 实时性 用户都希望入侵检测系统能够尽快检测到入侵，尽快报警，因此需要对获得 的数据进行实时分析，对系统的实时性要求越来越高。如何开发基于高速网络的 检测系统，还面临着许多技术上的困难。 7 缺乏统一的标准 标准的制定可以使不同的入侵检测系统能够协作，同时能够与访问控制、应 急、入侵追踪等系统交换信息，形成一个整体有效的安全保障系统。现在对入侵 检测系统的评价还没有一个统一的客观标准，目前开发商大多处于各自为战的状 况，使得入侵检测系统之间不易互联。 2 3 2 入侵检测系统的发展趋势 通过分析入侵检测系统的局限性，结合当前入侵检测技术的特点，可以推断， 今后入侵检测系统将会朝着以下几个方向发展。 1 宽带高速实时的检测技术 伴随着a t m 、千兆以太网等高速网络技术的出现，各种宽带接入手段层出不 穷。如何实现高速网络下的实时入侵检测成为当前面临的一个重要问题。i d s 的软 青岛理工大学工学硕士学位论文 件结构和算法需要重新设计，提高运行速度和效率，以适应高度网的环境。新的 高速网络协议的设计将会伴随着高速网络的发展而出现，如何让现有的i d s 适应 未来的新网络协议也是一个值得探索的问题。 2 大规模分布式的检测技术 传统的集中式i d s 的基本模型是在网络的不同网段放置多个探测器，收集当 前网络状态的信息，然后将这些信息传送到中央控制台进行处理分析2 6 。2 8 1 。这样 的集中处理存在着诸多缺陷：中央控制台的负荷过大，导致大量信息处理的遗漏， 漏报率高，同时，网络传输时延较为严重、网络性能降低等等。在这种情况下， 出现了很多新思路，攻击策略分析方法是其中之一。这种方法采用分布式智能代 理的结构方式，包括几个中央智能代理和大量分布的本地代理，中央代理负责整 体的分析工作，地方代理负责处理本地事件，通过全体代理的协同工作来发现入 侵。 3 数据融合技术 数据融合技术是针对当前实时检测技术无法有效地处理复杂、隐蔽的攻击以 及检测的虚假警报问题提出的。多传感器数据融合技术能够把多个异质分布式传 感器处得到的不同数据和信息综合为一个统一的处理进程，来评估整个系统的安 全性能，这里，分布式传感器得到的信息包括网络数据包、系统日志文件、简单 网络管理协议信息、用户信息、操作命令等。 4 智能化技术 各种软件计算方法的引入，使入侵检测技术向智能化方向发展，下面三种机 器学习算法为当前检测算法的改进注入了新的活力。它们分别是人工免疫技术、 遗传算法和神经网络技术。 人工免疫技术【3 6 1 是受到生物免疫系统的启发，发展的一套基于自然防御机理 的学习技术。人工免疫技术为入侵检测提供了这样一种思路，即通过正常行为的 学习来识别异常的行为序列。应用免疫技术，需要获得程序运行的所有情况的执 行轨迹，以便得到的特征轮廓能很好地刻画程序特征，但这有一定的难度。而且 这种方法检测不出那些能够利用程序合法活动获取非授权存取的攻击，这项技术 还有待进一步研究。 遗传算法【3 5 】利用若干字符串序列定义用于分析检测的指令组，用以识别正常 或者异常行为，这些指令在初始训练阶段中不断进化，提高分析能力。这种算法 1 2 青岛理工大学工学硕士学位论文 在入侵检测中的应用时间不长，还有大量工作要做。 神经网络技术在异常检测和滥用监测中都有应用，但主要应用于异常检测。 它以自适应、自学习、自组织、较好的容错性和鲁棒性、并行性、联想记忆等优 点受到世人瞩目，在入侵检测领域发挥了重要作用。今天的神经网络技术已经具 备相当强的攻击模式分析能力，它能够较好地处理带噪声的数据，快速分析，可 用于实时分析。 5 与防火墙联动 入侵检测一旦发现攻击行为，自动发送给防火墙，防火墙加载动态规则拦截 入侵行为，称为防火墙联动功能 2 9 - 3 0 。目前这个功能主要是一种概念，还没有到 完全实用的阶段。未经充分测试就使用联动，可能会对防火墙的稳定性和网络应 用带来负面影响。随着入侵检测技术的发展，联动功能将日益趋向实用化。 本文将第四个方向作为本次研究的重点。通过对现有技术和方法的研究，设 计一个基于神经网络的入侵检测系统。对神经网络技术，我们将在下一节进行介 绍。 2 4 本章小结 本章主要阐述了入侵检测的概念，对入侵检测的发展历史和国内外的研究现 状作了介绍，然后从不同的角度对入侵检测系统和检测方式进行分类，引入入侵 检测的通用模型，这是实现入侵检测系统的重要参考，总结了入侵检测系统存在 的局限性，并对今后入侵检测系统的发展趋势做了分析和探讨。 1 3 青岛理工大学工学硕士学位论文 第三章神经网络算法分析 人工神经网络( 亦称为神经网络) 是近年来的热点研究领域，目前在工程领 域已有较多的应用，涉及到电子科学与技术、信息与通信工程、计算机科学与技 术、控制科学与技术等学科，应用领域包括模式识别和图像处理、控制和优化、 预报和职能信息管理、建模等，取得了令人瞩目的发展。 3 1 神经网络的基本思想 神经网络( n e u r a ln e t w o r k s ，n n ) 的研究是从人脑的生理结构出发，以模仿大 脑神经网络结构和功能为基础而进行的。它是由大量的、简单的处理单元( 称为 神经元) 广泛地互相连接而形成的复杂网络系统，反映了人脑功能的许多基本特 征，是一个高度复杂的非线性动力学系统【3 1 1 。 人工神经网络与人脑主要有两个相似之处：一是能通过学习过程从外界环境 获取知识；二是内部神经元可以存储获取的知识信息。 3 1 1 神经元模型 神经网络的基本单元是神经元，是对生物上神经细胞的简化和模拟。神经元 的特性在一定程度上决定了神经网络的总体特性，因为神经网络是通过大量神经 元的相互连接构成的。一个典型的神经元模型如图3 1 所示。 p l 庳 d ： p r 图3 - 1 神经元模型 由图3 1 可见，一个典型的神经元模型主要由五部分组成。 ( 1 ) 输入 p l ，p 2 9o ，p r 表示神经元的r 个输入。 1 4 青岛理工大学工学硕士学位论文 ( 2 ) 权值和阈值 w 1 l ，w l 2 ，w l ，3 是网络权值，表示输入与神经元之间的连接强度；b 是神经元 的阈值。神经网络中，权值和阈值都是可调的，这种可调性是神经网络学习特性 的基础之一。 ( 3 ) 求和单元 求和单元对输入信号的加权进行求和： 月 刀= p f w l ，f + 6 ( 3 - 1 ) i = 1 这是神经元对输入信号做的第一步处理。 ( 4 ) 传递函数 ，是神经元的传递函数( 也称为激励函数) ，它对求和单元的计算结果进行函 数运算，得到输出a ，这是神经元对输入信号的第二步处理。 传递函数，有多种形式，最常见的有阶跃型、线性型和s i g m o i d 型，如图3 - 2 所示。 j 、 ， l 0 ( a ) 一、，( x ， l 0 7 l - t t x ) _ ，一 乡 0 x 图3 - 2 典型传递函数 阶跃型传递函数，它输出的是电位脉冲，所以这种神经元称为离散输出模 型，如图3 2 ( a ) 所示。 m ，= 三：三