（计算机软件与理论专业论文）防火墙日志分析系统的研究与实现.pdf

浙江大学硕士学位论文 摘要 随着信息技术的飞速发展，基于t c p i p 协议的互联网得到广泛应用，其影响已经渗透 到了我们生活的各个角落。t c p ，母网络体系结构与协议的巨大成功来源于其开放性以及简 单性，而这种开放性和简单性也带来了不少安全以及管理上的问题。网络管理者迫切希望构 建网络监视系统，实现对网络流量、资源使用情况的监视，达到加强网络管理的目的。 在这种需求的推动下，本论文研究了通过对防火墙日志的分析，实现对网络进出口带宽、 资源使用和非正常通讯的监测，从而加强了网络管理。论文主要完成如下内容： 首先，在探讨网络测量技术、网络计费技术的基础上，分析了流量采集、日志表示格式、 防火墙技术等方面的研究现状。并在分析网络管理中存在问题的基础上，提出了利用防火墙 日志来监测网络运行情况的方法。 其次，进一步提出了系统的结构模型，并对其中日志预处理、数据设计和w 曲服务架 构等关键技术进行了分析研究。在此基础上，分析了功能目标，并对系统进行了分析和设计。 最后，针对一个实际校园网络管理现状和存在的问题，介绍了日志分析系统在网络管理 中的应用，并对其功能性和操作性进行了评价。 和其它利用防火墙日志进行研究的网络测量、网络计费、日志审计等领域相比较，本论 文具有如下特点： ( 1 ) 提出了利用防火墙日志来监视网络运行状况的方法。监视内容包括进出口带宽、计 算机访问、网络服务以及异常会话等。为监视网络运行状况提供了一种简单易行方法。 ( 2 ) 采用了防火墙日志为研究的基础数据，同传统的基于侦听和s n m p 流量采集办法相 比较，采集信息既灵活又全面，还不影响其它网络设备的运行性能和通信带宽。 ( 3 ) 利用正则表达式来分析、抽取日志中的关键数据，加强了通用性。只要构造相应的 正则表达式，就可以对不同格式的日志数据实现分析。 ( 4 ) 采用了1 | ) l ，e b 服务架构。既可以用浏览器进行查询，也可以为其它客户端程序提供服 务。系统通讯采用标准的协议，可以实现跨平台操作。 关键字：日志分析，防火墙，网络管理，网络监视 湃江大学磋士学位论文 a b s t r a c t w 出n l ed e v e l o p i n go fn e t w o r kt e c h n o l o 料出e 】n l e r n e tb a s e d0 nt c p pp r o t o c o lj su s e d w i d e l y ，w h i c hh a s1 】矗da 辨a ta f 艳c t0 no u ru 托t h cg r e a ts u c c e s so ft c p ，i p 眦t l i t e c t u r er e s u l t s 蠹o m 廿l ee x o 把r i ca n ds i m 翔ec b a f a c 把r so ft c 球p r o t o c 0 1 h o w e v e 毛t | l e s ec h a f a c t e r sb r o u 醇t 8 e v e r a lp r o b l e m so fs e c l 】r j t ya n dm 哪g e m e m s oi t ，sj m p o r 【a n tf o r e t w o r km a n a 辨r st od e v e 】o p s y s t e mt om o 痂o rn e t w o r k 蛐a n dr e s o u e s ot h a ti l e 柳o r k 瑚衄g e r sc o u 撒m a n a g e 辩栅o r k m o e 畿c t v e l y b a s e do nt h e s ed e m a n d s ，吐l i sd i s s e f t a d o np r e s e n t sm em e t l l o do fm e e t w o r km o n i t o r i n gt 1 1 a t i s 越断e db yf i r e w 面ll o gd a t aa 蛐y s i s ，a sw e 驻a st l l em o n i t o r i n go f t l j en e 似o f kb a l l d w i d t h u s a g ea 嫩n e l w o r k 般疆i c t h em 越nc o n e n t si n 出i sd i s s e r t a d o na r e 吐l ef o l l o w i n 笋： f i r s to fa u ，b a s e0 nd i s c u s s i n gi nt e c h n o l o g yo fn e t w o r km e l r i ca ：n dn e 附o r ka c c o u n n n 兽龇 m s e a r c ho f 讹摊cc o l l e c 6 0 n ，吐l ef b 玎m to ft h el o g 粕dt b et e c h n o l o 舒o f 触w a l la r e 锄a l y z e 畦， f 诎f m o r eb a s eo a n a l y z i n g 也ep r o b l e m s0 n 豫t w o 出m a n a g e n 蝴琏，t l l em e m o do ft h e m 0 1 1 i t o f i n go f 血en e t w o r kn 】埘n gi sa d d r e s s e db y ( 1 l eu s eo fm ep r o c e s s i n go ft l l e1 0 9r e c o r d s0 f 黼n o r k 蠡r e w 蛆 s e c o n d l y t | es ”把ma h i t c c 呲m o d e li sa d d f e s s e d 砸ek e ym e 幽o d s0 fl o gp r e p r o c e s s i n 器 血t a - d e s i g na n dw 的s e i c e sa r ed i s c u s s e d o n 吐1 i sb a s i s ，t 圯f u n c 廿o no fs y s t e l ni sa n a l y z e da i l d 氇es y s t e l ni s 卸a i y z e da d e s i g 勰d f i n a l l y ，吐l ep r o b l e m so nn e t w o r km a 彻髀i m m a r ea d d r e s s e d t l l ea p p l i c a 廿o no fl o ga n a l y 血 8 y s t e mi nn e t 0 r k 蝴n a 舻呲n ti si n 旺。出l c e d ，i nw h i c ht h ec h a r a c t e r i s so fm n c o na i l d 0 p e r a 畦0 a 始e v 越u 硅t e d c o 埘【p a r e dw i t h 吐屺丘e l d so fn e 坩o r km e 哪c ，n e 俯o f ka c c o 删n ga 珀dl o ga u d i 廿n gu s i n g 胁w a l l1 0 9i i l e 血o d ，t h i sm s s e n a t i o n b 船血ef o n o w i n gc h 糊t e r i s 出s ： ( 1 ) t i l em e 幽o do f | 1 1 e 撒。瘫嘶b g t 。龇r u n n i 鲳n e t w o 出i sa d 船s s e d b y 妞u s eo f 盎把w a l l 1 0 磬t b ec o n t c i l t so fm o n i t o f ! i n gi n c l u d en e t w o r kb a n d w i d t 主lu s a 护，c 0 i r i p i l t e ra c c e s s i n 岛n e t w o r k s e r v j c e sa n de x c e p t i o 船ls e s s i o 璐田d si s 越e a s ym e t h o df o rt h en 协n i t o r i n go f 协en e 柳o r k 础g 。 ( 2 ) t h e 觚w a l l1 0 9i sl l s e dt ob 嬲ed 嘲o f i e s e a r c h c o m p a r e dw i mp a c k e t sc a p t i l r e da n d 曲m cc o l l e c 畦o nw 出s n m 翌i cc 雒c o l l e c t 越lc h a r a c 耐i s n c sa 醋h a s 丑oi n 丑u e n c e 龇p e 嫌) 科腿n c e o fd e v i c ea 玎db a n d w i d m0 fn e t w o r k ( 3 ) k e yd a l ai sa n a l y z e da n de x 拄a c t e db yr e g u l 雏e x p r e s s j o nd i 俄柙n tf o 珊砒l o gc a i lb e a n a y z e db yc o 口s 啪圮由培出f 凳r e n t1 e g u l 8 re 邳辑s s i o n ( 4 ) w 曲s e “i c e sa 粘l l i t e c t l ei sa d o p 叫，w h i c hc a nb ei n q l l i db yw e b b m w s e la sw e u 鹪 p r o v i d e ss e r v i c e st 0o t i l e rc u e mp r o g r a m s s t a 】嘣a r dp r o t o c o li sa d o p 把dw h t c hc a nb eo p e r a t e d w i mo 畦mp 蕊f 瞄 k e y w o r d s ： b g 糊l l y s i s ，f i r e w a n ，n e t 、v o r km a n 嘴m e 虬t w o r km o l l i t o r i g 淤汪犬攀颈士掌莅论文 1 ，1引言 第一章绪论 程道丧的2 0 世纪里，以曩联瓣为代表的信息技术迅猛发展，特别是赫予t c p ，母协议的 互联瓣麴褥戮广泛瘟尾，深剡缝改变了大嚣j 工作、学列粒生溪鳇方式。夏联嘲终兔僖爨疆寒 发蘑鞠大成果，箕佟瑶静瓣蛹已经渗透到了我稍擞滔鞠工作的各个甓落。但由于母= 辫球 网络体祭结构与协议的霞犬成功来源于其开放性以及简单性。正也由于这种汗放性和简单 性，使樽强联嬲戒为一晕争鬻麓舜构、开放豹复杂系绕。避使我 j 对互联网鹩逡抒特性与内在 本厦麴之甚少，给互联嬲的管理和分析带来了一系列的困难； 梭麓瓣键不餐舞，霉管梭骚簿蕊建设，极大方馁了，季生稻靛教学、辩磷、学鼍寒警理。 但是随餐网络的快速发展，网络服务的多样性逐渐慧现，高度异构、开放的复杂系统的内在 管理复杂性也逐渐浮现：计鲜机病毒通过网络快速地传播，不仅破坏了正常邂行的计算机系 统，还占爝藿宝赛鲍嬲终帮宽嶷源，阻碍着网络的疆常使用；部分摄作者避道嬲络非法进入 逸程嚣舞秘系统，瓣诗葵艇安全形藏藏瓣 还舂些入滠遘端瞄羟擒等王其，擐瓣土莓赣援嚣， i 三l 期找刘存在缺陷的计算机糕统。为了预防网络安全攀故，保证校园耀络的相对安全，人们 在技慰翔建设孛配置了防火墙。黥瘰毒嘲荧、防毒墙、计赞器等网络安全设每。尽管如趁， 由于旌错理中缺少监控、分析的手段，使网络使用现况滩以评估。综合复杂数据网络的管理 瑷炊，褥褒下嚣几个闯题： 谤阕魏受源难戬茏确谨佑；主要氮耩兰令露掰，蔷先两终管理考滚叛获褥潮终弼产 的盘要访问对象，蝴访问的网页，下载的f r p 资源等等；其次，难以获知校园刚 对外发布的服务器圭骚被哪些用户进行访问，访阿的时间段分稚规律：最后，滩以 髓控一些特殊鞭络资源访河耀产饕势毒巍襻。蕊之蘸子弼络蘸测学段盼缺乏嫠我们 对阏络豹痘露觋歇穗娃褥到菇勰评售。 拨闲网络出口带宽使用情况难以襁量：接麟隔的宝贵资源出翻带宽是衡量网络 的霆要标志。在嚣静鹩网络使用中，将对铮滤讯速度不畅土阏遮度慢等缘由链往单 缝静归戈皤络出= ：】繁宽不够，导致网终建设审存在片蟊地遣求扩丈琏l 蜀带宽豹候 i 蓊大学璇士攀整沧文 向a 但是，到底目前麴网络出口帮宽使用如何。网络访问不畅的骧阁究竟何在，却 没商足够依据，致搜蚓络的建设和管理中存在定的盲目性。 主蓑网络骚务爱塌户分蠢难跌确谈；一般经验认为，丈邦分螅猎络瓷源艘少帮努网 络鲻户整弱。羁时，搬嚣常簧理窜我识也试谈剿帮癸孀户长期使愆黼络游戏、电影、 聊天等业务。如何谯镑理中保诋正当的掰络黼避，控制不正当的用阙需求。成为网 络管理者有待解决的问题。 段时阕 噩来，黼缝p 2 p 瘦耀的大董清蕊，已严重影嚷了掰络的纛嚣运行。p 2 p 露络斑霜具有占题势发会话多、占翊瀛耋大簿将煮，在有些嘲络中，8 0 一粥驻 上的有效通信流熬被p 2 p 应用所占据，邋影响了正常网络业势的开展。有赡运营 褒廉稼规p 对占网络繇带宽豹5 0 以上，双嬲予不撂不采取了限制p 2 p 应用的措 施”。如何来监控校园网中p 2 p 应用，成为网络管理者需要熊决的新闯题。 豫了班上霹素磐，耀终菠枣逐褒戒为影瞧嚣络燕鬻运簿鹣重要嚣素。渖东波、震荡渡等 班瓣络帮宽为攻击弱标髂病橼测溺了操幸髻系统设计主静些漏洞，正辞意释蠛藩本来就不宽 裕的带宽。如何在网络管理中发现这些黼瓣，及时帮助用户进行处理也成为网络管理中的一 个闻题。 热秘窍效蘧篮溺帮整瑷遮攮舞瑟基经袋了瓣终管理串一顼重要任务。农网络运费管瑾 中，开发了不少技术和产品，也出现如s m 热f 、阏臀系统祷网络运行监控软件。这些设器和 软馋解次了网络安全和刚络臀蠖中的部分蛔越，健嘲绺避行健康妖援、糍络带塞豹使耀现况 等仍得雨鬻有效的监控。 憩之，褒当慕戆鼓舞瓣终赣联疆妖孛，慧霰麟凌辩下润蘧： 如何监测校园网谤瓣辫些外两主枫、使雳哪魑激务? 如何有效地监控校闼网内部的哪然主机和服务被外网所访问2 翅簧将考隈酶校巍瓣氍礤带宽翅在考震躲溅务上? 如何发现和处理中了冲击波等瘸凑，对潮络带宽霄严重影噙秘计算枫? 擞粜能较好的处理主遴蛔瓣，裁能为蠢效管理瓣络，健康使用网络，并为较匿嘲的后续 升级和敬谶提供有用的参考。懒鬻解决这些问题首先辫检测当前网络的逡行状况。 2 浙江大学硕士学位论文 在现在的校园网建设中，为了增强内网的安全，抵挡外网的病毒和攻击，在网络出口处 配置了潮络防火墙( 馨边缘淤火墙) ，防火墙中豹疆忠牵完整绝记录了每次阚络会话中双方 计算机的撙地址、使用端瞄、收发数据包数量、收发字节数以及网络会话持续时闻等数据 【3 l ，遵避辩逛鏊鼗据懿分辑藏瑶激获德主述壤惑，较辩堍瓣凌上述滔蘧。本文遘遥慰菠炙墙 日志懿分析，获褥有关网络管理中静重要信息，技磁为黼绣的健康运行帮宵效蛰理撬供帮助。 1 2 研究的内容和目标 潍赣爨络赣模翁扩大嚣瓣镪斑爱增多，较弱瓣孛器辩各嚣鹁甄终黢务瞧越寒蘧多。筏鞋， 由于操作系统等方面的因素，联网的计算机系统存在备种漏洞，网络黑客们利用这些漏洞对 网络赛施墩击，对网络上瓣谤辫桃安全造成危害；诗箨帆病毒也在嬲络上遴努传辕。另外， 当前附络流爨主要的应用成分为p 2 p 流鬃和h t r p 流爨，聊、p 及其它知名矗蔓用流爨( g e 黼r i c ) 赝占魄倒疆乡，其孛p 2 p 流酝在不固时段靛滋铡在蝣蛙7 0 之趣，寝阗缓占疆铡藤黠手 自天簧蕊搿。掰毒这些都戳会话懿澎式京诗葬祝闯避程遥臻。弼络防火墙瓣秘忐记录萋每一 次网络会谗。基于网络防火墙的猫恚分析系统就是道邋对这些原始的通信会话记录中分析出 有效的倍息，向网络管理者摄供网络流量分布规律、校园网提供的服务分布规律、客户端计 算机分带瓣律、秘络无效会话分毒撬撑警镶惑。隧终繁避卷可戳从这些规律巾撰囊鼷络瓣镬 弱憧嚣、瓣络魏逶痞努毒渣撼虢及蹈终氇建遽猜蒎，鼠聪霹戳鼗溺酒绦运行谤撼，鸯蔽鞣爨 络的建设和改造提供依据。 翻j 比，本论文磺究豹筐橼怒避过防火壤网络日崽数攒的分析，构造毯惑势析系统，以达 到网络逡行状况监测。具体包括如一f 蟊标： 分辑网络溺鲎、赠络计赞簿掰终篱理矮域酶戮究情援，提塞裁弱糖夹壤磊恚分折寒 簸测网络运行情况鹩熙路。并综述相关的流激聚集、目志表示格式、防火墙领域的 研究情况。 提豳虽恚处瑾结构骥黧。对其孛鼹志蓣处联、数据设计等关键搜米分进杼了努挺。 髭藏基礁上，挺蠢了零论文弱磷巍方法。 在掇出日志分析系统功髋目标的基础上，对累统进行分析和设计，_ j # 从日志预处理、 数掭痒移查询掇表兰个方面进行了详细分析囊糯技术。 貔火壤瓣志分摄系统静藏该暴毒魏下几方霹静基本班麓： 3 暂茳夫学麟耋学整论文 提供校园网内部总构i n t e r n e t 出口带宽使用慵况。以方便网络管理人员分析网络使 耀艇律、判断流量瓶颈。 挺镞网络涛同的资瓣努南巍终，鞋使网络管壤璺霹殴观察的嘲络游瓣对象。 撼谈校嚣掰鑫礤躲弼绻蕊务清嚣驻及各饕赧务麓流蕉售惠。扶遮整数据中蹲终管理 人员可以发现p 2 p 等大通信量服务的使用情况。 擅看网络无效会话懵息。以便分析瞬络潜在的威胁。 程魏嫠穑上，弱络管理蠹也可臻攫撂系缝挺熬戆诗冀鞠；访翔趣遂壤爨耩援，遴参帮发 如计赞系统簿丽络应用。 为了迭副上述功能，零系统遥遘窟恚服务器或文移抟输的方式接睃游火域蓬传递过来约 原始目惑数据，经过过滤、抽敬、简化、合并以及统计髓存储到数据库中作为查询的基础 鼗撵。穗络蛰瑾天曼透遗w 酶浏览嚣提交震要查询黪德怠，w 砖服务嚣接受请求鼓螽，透 过嚣恚矜褥蠢询；l 擎辩数瓣箨髂息分辑嚣褥甄结菜，由w 砖缀务器遮酲给鸯诲的震户。整 个系统如下示意图所示。 因姥撼个系统由日志服务器、日志基础数据岸、防火墙矗志数据转换穗序( 也称日志预 娃理疆露) 、嚣志势橇秘投袋擞成；l 擎、翦蠹w e b 程侉簿组成。 鞲悫驻务器：霹来接收防火墙避过来静琵誊数攒。防火墙瑟恚越文零方式眷德，莓 行对应一个网络会话。臼志数擞巨大，在难常冉钉情况下每分钟整生成1 0 0 0 0 多条会 话信息，每条信息占5 1 2 字节，占用5 m 巍衣字节的存储空间。 数舞痒系统；要受趣遮么大懿鞋恚鼓撂，鲡燕在骧戆熬文零交馋基礁主避蜚照瑾。 系统豹响应难敷保谥。为了能够往霜志倍感簸够快速地统计和壹询，系统采埔了数 据库管理系统来保存处理日志数据。 防火墙日志预处理耩序：防火墙设备产生的艨始嗣恚记录除了系统巾需要的荧键数 4 蕙l 疆大学矮尘攀位沦交 搦信息以外，还包宙蓿标识符和系统不需饕的数据，为了节约存储警间，方便的数 辫处理，系统设计了转换；| 擎瓣瓣志数据进杼过滤、抽取稆简化等处理。 鲢恚分析帮报袭生成s l 攀：其任务是根据耀户输入翦条件，分辑数搬势生成籀应酶 绕骨擐表。 前台w 曲应用程序：为了提高应用的可用健和可维护性，客户端操作环境拟采用 w 曲浏览器。前台w e b 应用程序是最终用户访问系统的接口。 1 。3 耦美舔究鹜豢 嘲络j 藏用情况分析是对网络行为进行特征亿、对嚣鞭指标进行美化。网络应用情况分根 是充分鞭解岛歪确认识互联潮威用情况的基本手段，经常对弼络应用情况进行分析并指导实 践能馒嘲络的建设能朝若受加健康鲍方两发展。 蠹予蕊联孵发震中熊篆魏，鼹臻运行状况势拼没有襻赘应毒懿重视辫。避年来，出予戛 联阏的爆炸性发展，新应用不断出现，网络应用的闯艨不断浮现，很多研究机构开始致力于 开发置联嘲j | 氖测技术。网络监测技术，特别是对网络性熊测量技术，已成为当前计算机网络 领域垮f 究热患之一。当蓠嘲终瓣疆土褒如下方面豹磷究； l 。飘l 弼络涮量技术 n t e 玎l e t 超常规的发展使藏谯可扩麓、安全、缀务旗激稻创新性的方筒霹i 强营薪的挑战。 因此，我们霰要了解网络运行环壤、网络应用和服务的寰际工作情况，为成翔和技术改进提 供参考，戳藏箍赢瓣络黢务器斑麓懿效率窝蔑鬟嘲。瓣络滚虽涮量蓬程是蔼溅蠢豹方法秘装 术，来获器藏验证两络往麓的进程。丽络涮爨包括测攘对黎( 帮测量的节患躐链路及其特点) 、 测量环境( 包括运行状态等) 和测量方法( 也就是获鞭激化指标的方法) 。蔟中在测量方法 上应该满足稳健性、可重复性和强确性兰个方面的簧求。【4 】f 5 j 嘲 瓣络溅爨终鸯瓣终运舒德撼分辑耱搂羧嚣基藤，菸羲拣莛获取与鼹络邋簿毒关熬善耱数 据，成粥干避行、管理等方谶，网络测董大致包括流擞描述、网络监控和流蘸控制等兰个方 蘧。流爨缎述的任务包括溅餐识别( 特别是峰值潍鬟躲识别) 、流量在网络上豹分布、不同 路由器鄹网络上不同服务类型数据的表述以及通过对流擞模式的研究预测流艇的变他趋势， 斑未采工谨黢务等露个方瑟。瓣络监控是瓣络测蠡豹努一令方薤，其襄缒饕强楚蕊凌爨终运 5 浙江大学硕士学位论文 行状态，找出网络运行管理中存在的问题；其次是在网络服务多样化以及服务要求提高的情 况下，益视不弱秘络服务的运行质薰，并提供对熏要服务豹性能益控；随着m p l s ( m u l 邱r o t o c o ll a b e ls w i f c b i n g ，多协议标记交换) 等嶷有网络流量工程的应用，网络监控 可以监测流艇工程策略的效果；最后网络监控还可以监视不回i s p ( m t e r n e t s e r 、，i c e s p v 汝r ， i n 把r n e t 黻务供应商) 之间豹流量交互的任务。流量控制是根据丽络管理者对网络的管理策 略和当前网络流量测量结果，对当前网络b 的流量提供一定程度的控制，通过流量控制可以 达到网络性能整体优化、也可以为重要的监控协议提供一种反馈和保障机制，同时也w 以根 据已经存在的流量对带宽的要求来为将来的流量分配资源。 网络测量可以根据测氨的对象分成多类【6 】【7 】【1 “： 纂子会话瀛( s e s s i o n ) 的铡爨。戳会话漉为基础的溅量，通常霉班表现为在特定 的通讯对象之间( 有同一组源、目的地址，源、目的端口的通信实体) 在一个会话 过程中的数据包、通讯字节数以及持续时间等。测量内容常包括砰地址、端翻号、 协议类型、鼹务类型、开始帮结柬辩闻、分缎诗数袒字苇诗数等。 然于网络元素的测量：测量网络元素的运行情况。如s n m p ( s i m p l en e t w o r k m a n a g e m e n tp r o e o c o l ，简单网管协议) 采用监昕的方法嘲，采集霹络原始数掇存储 到m 珥( m a 船g e 埘1 t l n f o r m a d o nb a s e ，管理信惠痒) 里面，翅括分组的个数、字 节个数以及出错的情况等。 基于逶信双方的测量。就是衡量遴信节点对之阉的网络透信情况，包括按议爽型、 服务类型、持续时间和流量等。由于i p 网络的分组交换以及通信中有可能出现的 路由改变情况，我们可以从基于会话流测量的数据中分析得到。 基于路径的测釜。路径搔撙分组扶原节点转送剿鹫的节点过程中所经过豹瓣络节 点的集合，由于m p l s 可以使用相对固定的网络路径，因此，通常在此基础上开 展基于路径的测量。而且可以进步测量基于流量的介入控制机制，对传送的特定 摄务性能送萼亍跟鲸相评佶。 根据用途的不同，可以对多种参数进行测量，包括时延、丢包率、链路的容量和带宽、 流量、连接的平均持续时阊、网络拓扑等“。在墨t f 的砰网络性能测蘸( p p m ) 工作组刺 定的建议鞠草案中，定义了弼络性能测最的蔫本框架，并规范了性能指栝和必须遵循的标准 n ”。下面就时延、带宽、流量以及平均持续时间等进行说明”】【5 】【”。 6 浙江大学硕士学位论文 时延e 网络传输时延指分组在网络传输中的延迟时间，分单向时延和往返时殛。影 响时延豹因素存网络性能、溯黧数据包和隔络流量三类。网络对延的溺蠢常利用 i c m p 协议，最典型的就是p i n g 。由于i c m p 存在安全漏洞，以及现在网络管理中 存在过滤i c m p 分组的情况，也采用u d p 报文。t f 中的r f c 2 6 7 9 ，r f c 2 6 8 l ， r f c 3 3 9 3 摇述了网络豹单囱时延、往返辩延秘时延抖动的测爨指标1 3 】【“l 1 ”。 带宽。包括链路带宽和有效带宽。链路带宽是链路自身的容量，而有效带宽是某一 时褒l 在链路上发送数据可用的最大带宽，受链路中流量的影响。现有的带宽测爨算 法主要有三种：第一种是数据戗对( p a c k e tp a 妨算法；第二种煺变长分组( v 敏i 曲k p a c k e t s i z e ) 算法；第三种是s e l f l 0 a m n gp e r i o m cs t r e a “l s ( s l o p s ) 。 瓣络漉耋。网络流量是网络营璞豹基础，网络流曩多采震被动方式测量，溺量方式 有直接读取m 席中数据和网络侦听两种方法。随着高速网络技术的发展，使直 接对网络流量进行聚样、分析变得困难。采用了周期抽样、随机间隔抽样等抽样方 法。r f e 2 3 3 0 静攘荐使用洼松抽样麴方法鲍漉畿涮釜陶。匿翦流量测量雏研究重 点在于：网络观测节点的规划、抽样算法、海筮数据的挖掘和分析处理、流量分析 模烈、网络流堂的预测等等。 平均持续时闽指的是流豹平均延续时间或m p l s 路径持续时间。对m p l s 路径而 爵，静态路径的持续时间反映了网络设备的可靠性和失效规律，从而可以得出一些 霄荧服务的信息。 根据测麓的方式的不同，网络测量可以分为主动测爨、被动测量两种嗣。主动测量向网 络中发送探测包，通过对探测数据包所受网络影响而发生特性变化来分析得到网络性能参数 和雩亍为参数，掘残n g 可以获褥网络往返时延、丢包率岛连逶性等参数i 主动测量自隧缀中 加入附加流量，对网络有一定影响，造成测量结果也有定的偏差。被动测量借助网络上的 包捕获器捕获数据来记泶网络流量，分析网络流量和网络行为；被动测鼍不主动发送测罴包， 不会对网终造成影响，又称菲侵扰式测豢。被动测量实瓒存在比较复杂、准礁度依赖于包攘 获器的性能、可能会引发隐私和安全等问题。在网络测篮中采用趋向于采用主动与被动测量 相结合的方法，如利用主动测量确定网络的整体性能；利用被动测量方法确定问题所在的位 置，进行故障定位。 7 浙江大学硕士学位论文 1 3 2 网络计费技术 网络计费系统是网络管理的另一个熏臻方面，当前网络的计费模式巾主要存在包干式计 费、按使用时间计费和按流量计费三种方式【4 。包干式计费和按使用时间计费比较简单，不 胡对网络滤信流量进哥亍采蘩，当前的电绉宽繁、电信a d s l 、鬻运宽带等都采瑶这类计费方 法。按流量计费就是根据用户的网络通讯最进行网络计费，当前由于中国教科网( c e r n e t ) 中采用国际流量各接入单位分担制，国内包月制，而国内的大学又大多接入c e r n e t 中， 为了管理方便，因毙在各大学豹校园霹中魂广泛的使用根据两络流量计费豹方法，而虽对不 同的目标地址还采用不同的费率。 按流摄计费的计费系统分为三个重要的鳃成部分：流羹数据的采集、数据处理和统计报 表町1 ，其中流量数据采集是整个计费的纂础。流量数据的采集就是获取整个校园网内用户 接收和发送的数据包中的相关信息，通常包括源口地址、目的地址和收发字节数等信息， 要求信息准确、及时；数据处理就是将袋集到的数据转换成合适的格式存放起来；统计报表 模块根据现有的计费策略进行统计计费。在计费系统中，流量采集是系统的核心部分，当前 主要采用三种方法：基于s n m p 的流量采集、基于代理服务器( 或防火墙) 的流量采集、 基于隧终使瞬的流量采集等方法( 在第二章网络数据采集技术中叙述) 。 当前的计费系统按工作模式可以分为旁路模式和刚荧模式“9 】1 2 0 】。旁路模式就是计费系 统( 数据采蒙) 通过网络电路设备监测网络的通信情况，而不直接参与到数据的通信中。其 特点就是不会对当蘸的惩终通信造成任侮翦影响。毽燕出于其没有参与到霹络通信孛，也导 致了有时候计费数据不是很准确，不能控制网络运行情况等缺点。网关模式就是计费系统( 数 据采集) 接予外网和内网之间，网关系统在转发网络数据包的同时也完成了数据的采样工作。 网关模式醵诗费系统主要舂基于对凇p 避行数据采样、利用耀关嚣恚避_ 行数摆采徉秘蠡行 转发三种方式。基于s n m p 进行数据采样是利用简单网芙协议( s n m p ) 读取可网管的网络 设备( 交换机或路由器) 中的m 璩信息库米实现数据的采集；利用网关日志数据进杼采样 分斩是通：蓬对代理驻务器或防火墙的日恚债悫的分桥，得到通僖数据；巍行转发本身靛是一 个透明或不透明的网关 殳备，它通常有两个以上端口，系统从一个端口获取分组信息，从另 外一个端口发送出去，在数据分组转发的过程中也获取了计费所需要的数据。网关新设备数 据采样魄较准确，毒戳实袋e i 会话为基i 自遴彳亍计费，可猷实现通信控制，实现多鞘| 策略，僮 是由于网荚型设备是直接连接在链路上或者通过网关设备的附加功能来实现，所以对通信带 8 浙江大学硕士学位论文 宽造成了一定的影响。现在随着网络设备的发展，网关设备的数据处理能力也越来越强，影 响氇交锝越来越小。 刚络计费系统按计赞的方式可以分为按p 地址计费和基于用户计赞两种方式2 0 】： 按殚遗址计费：针对棱园网内每个瑾地址统诗瓣络通信流量，荠进行收费。蠹予 i n t e f l l e t 的通信是以双方i p 地址为基础进行通信的，因此利用硼络设备的流摄统计 功能可以方便实现以口地址为綦础进行计费。但是由于i p 地址容易盗用，而且由 于口遗琏的缺乏，使在校园网内郝存在大量的代瑾，致使p 计赞交得垂难。貔在 的计费系统更多地采用基于用户等其他方式进行计费。 基于耀户计费：以网络用户为基础的网络计费方式，现在常用方式有基于用户认证 辩关诗费、基于8 0 2 i x 携议计赞郛基于p p 阳e 计费三秘方式。 _嗍e ( p o i mt 0p o i n tp r o t o c o lo v e re t i l e r i l e t ) 方式是一种基于用户认证的计费 方式，嚣要对每一个数据包进露封装与攥包，效率较低，接入端网络必须工作 在二层以上，短要利用交换机的端口隔离技术来防止广播风暴，端口之间不能 相互通信，p p p o e 方式一般同r a d i u s 认证技术相结合，常采用先认证后分配 的方式防止掰遗址的盗用和冲突，匡翦在电信和网通的宽带网孛得到广泛应 用，在校园网内部不太适合使用。 一 8 0 2 1 x 方式计费也是基于用户的认证方式，一般也是跟舶m t l s 用户而内政相 维合，主要震于主舞接入认谨服务功能，在l p 遣境分配主氇采用了先认 正面 分配的方式，有效地防止了i p 地址的盗用和冲突，在新的操作系统如w i n d o w s x p 中内置了8 0 2 1 x 认证方式，是一种具有广泛应用前途的用户认证方式。但 出手需要交换辊等疆件支持，所臣在棱强嘲孛使塌比较少。 计费网关方式，在网络出口处设立一个计赞网关，在平时禁止内网的i p 她址 与外网的壬p 地址进行通讯，当用户需要诱闯外部网络时，酋先透过本地用户 认证系统进行认证，在认证通道的情况下允许绘定的计算机与外网通讯并记录 通讯流量，当用户终止网络连接以后，系统断开该用户与外网的通讯，并终止 计费，它便于整个校园网管联，是目前校离网计费管理豹生要方式，但是由于 它在主干朔上簧设置一个计费网关，因此，随着网络速度的提高，对整个网络 性能造成一定的影响。 9 浙江大学硕士学位论文 1 4 论文的特点 本论文研究的是基于防火墙日志分析的关键技术及其系统实现，日志分析的目的是监测 网络运行状况，向网络管理者提供网络流量分布情况、客户端计算机分布情况、网络无效会 话情况等信息，并为网络的进一步管理提供基础数据。日志数据由部署在边缘网关上的校园 网边缘防火墙产生，基本过程是对防火墙产生的日志经过过滤、简化。得到符合需要的信息 存入数据库中，然后根据网络管理员的特定需求，通过日志分析查询引擎对数据库信息分析 后得到结果，返回给用户。论文的研究具有如下特点： 提出了将防火墙日志分析用于网络运行状况检测。网络运行情况监测包括网络运行 质量、各种网络资源利用情况、网络安全环境等诸多因素，是网络管理中的难点之 一。本论文提出了日志分析这一简单易行的方法。检测内容包括网络带宽的使用情 况、网络计算机访问情况、网络服务提供情况以及异常会话等。 以防火墙日志为基础数据来源。相对于传统的流量采集办法既能采集到所有的特征 信息，又不影响其它网络设备的运行性能和网络通信带宽。 采用w 曲服务应用架构，既可以用浏览器进行查询，也可以通过客户端应用程序 调用。采用标准的协议，可以实现跨平台操作。 采用了正则表达式来分析、抽取原始日志中的关键数据，加强了通用性，只要构造 不同的正则表达式，就可以对不同格式的目志数据实现分析。 采用日志服务器来接收防火墙日志数据。只要对日志提供设备进行设置，就可以实 现对多个设备的多种日志实现集中的分析。 1 5 论文的组织和内容 本论文论述了防火墙日志分析系统的研究与实现从需求提出、研究现状分析、关键 技术研究到分析设计的整个过程，并且给出了应用实现分析，正文共分成绪论、相关领域研 究综述、关键技术研究、系统分析设计、应用案例分析和总结与展望共六章，各部分描述的 内容主要如下： 第一章为绪论。首先分析了当前网络管理状况，提出了网络管理中亟需解决的一些问题； 1 0 浙江大学硕士学位论文 接着提出了论文研究的目标：通过防火墙日志分析来监测网络运行情况。然后介绍了相关 的网络测量以及网络计费的情况；最后，提出了论文的特点，介绍了论文的组织和内容。 第二章为相关领域研究综述。对网络数据采集技术、日志表示格式和防火墙技术等三个 领域的研究现状以及发展趋势做了分析。 第三章为关键技术研究。首先提出了日志处理结构模型，并对其中关键技术分日志预处 理、数据设计和w 曲服务架构三个部分从意义、研究现状以及采用的研究路线等方面进行 了仔细分析。在此基础上，提出了本论文的研究方法。 第四章为系统分析与设计。首先分析了系统目标，并将系统实现分成五个相对独立的环 节，并对其中需要实现的曰志预处理、数据库和查询报表等三个部分从设计、处理和实现模 型方面分别进行了分析。 第五章是应用案例分析。针对一个校园网管理的实际情况，介绍了网络结构。提出了系 统架构模型，给出了功能实例，并做了简单的总结。 第六章为总结和展望。首先对本论文研究的内容和研究特点作了总结，然后展望了在本 系统基础上可以进一步完成的工作。 1 6 小结 本章为绪论，分为引言、内容和目标、相关研究背景、论文特点、论文组织和内容等部 分。在引言中分析了当前网络管理中的一些状况，提出了网络管理中亟需解决的一些问题。 在内容和目标中提出了系统所要达到的具体目标。接着在相关研究背景中介绍了与网络管理 中与网络检测技术有关的研究情况，介绍了网络测量和网络计费方面的研究情况，在网络测 量中介绍了测量意义、测量要求、测量对象、测量方法等内容：在网络计费方面介绍了计费 系统的组成，然后介绍了计费模式和计费形式。在论文特点中介绍防火墙曰志分析系统的特 点。最后在论文的组织和内容中介绍了本论文的总体布局。 浙江大学硕士学位论文 第二章相关领域研究综述 2 。| l 概述 防火墙日志分析系统是通过防火墙采集网络通信分缀中的i p 地址、分组大小等数据记 录成日志文件，应用程序获取这些弱恚文傍，并对其内容迸行分析后进褥持久纯，客户端以 w 曲方式进行查询分析。在整个工作架构的数据流程中包括通信数据采集技术、日志表示 格式、防火墙技术等多个领域的研究，本章就是对系统有关的研究领域进行综述。 全章共分五节，第一节为概述，第二书阐述了网络数据采集技术方法。第三节潮述了防 火墙日志袭示格式，第四节讲解了防火墙功能原理以及研究现状，最后第五节对整章作了小 结。 2 2 网络数据采集技术 弼络流麓采集就是获瑕阿络透信孛单佼时涸内接收嬲发送逶信量及相关信惠豹过程，由 于网络通信以数据包或网络会话形式袭示，所以网络流撼瓣集，咀数据包的采集或会话数据 的采集来袭示 ”，网络数据采集是网络监测和网络管理的基础。在不同的环境下，对网络流 量采集的饔求也毒瘊不图。扶网络豹管理应用上，网络数据采集的信息包括源臻建址、目 的i p 地址、网络服务和分组大小等。当前数据采集上主臻使用三种方法；基于网络侦听方 法、基于s n m p 方法、基于代理服务器( 或防火墙) 方法等三种流量采集方法f 1 9 1 川。 l 纂予珂终使骣酶瀑纛采集 基于网络侦听计费系统是利用以太网数据广播的特点，在网络中的某一点设置数据包侦 瞬的计算机接收弼终主的艨有投文，然雁分辑以太瘸数据帻，缛到麴源悖遗蛙、甓的弹 地址和数据帧长度，根据鬻求的不同，也可以进一步分析数据帻以得到璺多的信息，即网络 侦听的流擞采集办法工作在i s o o s i 模型中的第二层。示意图如图2 1 所示。 在随缀中，谈瞬计算帆与h u b ( 集线器) 相连，放在需要谈昕的弼毅中。所有通过该网段 的报文信息在网段中广播，侦听主机接收到广播数据包并进行分析统计。其基本原理是利用 1 2 浙江大学硕士学位论文 集线器的数据广播功能，使数据采集计算机能够接收到随段中的所有数据包。由于侦听计算 桩采嗣旁路豹方式进行工佟，因拙对瓣络豹传输经蘸不会造成影响。毽是，随着现在瓣络交 换机( s w i t c h ) 在网络中的广泛应用，特别避在高速网络中不再使用广播的形式，所以通常采 用交换机端口镜像的方式实现侦听，将需要侦听的网络端口( 通常为校园网出口) ，镜像到 侦听计算桃所连接的端霸，以便使瞬计算机能够接收到通过目的端翻遥讯的所有数据包。 图21基平侦昕流量采集的承意图 随着网络速度的提高，使用该技术的髑限性也越来越大。首先现在网络中采用了交换机， 以太网的数据帻被限制在端盈之间进行转发，所以采集计算机接收不判在端口之间直接转发 的数据包，即使采用了端口镜像的方法，也只能对通过被镜像交换机端口数据包实现采集， 其适用范围受到很大限制；其次，随着嘲络速度的提鑫，现在校园网的主干普遍采用千兆甚 至万e 交换路由网络技术，鄹使采用功能强大的计算枫来完成端口中的数据包采集并处理也 变成为不w 能实现的任务。所以该方法只在发展的早期、范围较小、速度比较慢的校园网流 量数据采集中使用。 2 蒸乎s n m p 的巍量采集h 蜘 为了臀瑕的方便，校园网通常采用一个集中的出口，即使有的校园网有两个以上的 i 擅e m e t 出霸，也是透过集串出口以雁由路由器决定通翔瞒络翡下一虢。因觉边界路出器是 所有的讲数据包必经之路，也是理想的数据监测点。基于s n m p 流量采集，通常是利用路 由器口a c c o u n t i n g 功能收集愿始数据，然后利用s n m p 协议从路由器中获得数据存到质台 数据痒中。舞强2 2 所示。 浙江大学硕士学位论文 霪2 2 基手s n 胂流量采集的示意图 路由器的i pa c c o u n 廿n g 功能( 以c i s c 0 2 6 0 0 系列路由器为例) ，维护蓿两个与坤通信流 量有关的数据表，存在m m 的p 组中，分别为i m a l 礤a c c o u n 血g t a b l e ( 1 - 3 。6 1 4 1 9 2 4 7 1 ) 和b c 越c 抛c 坤o i n ta c c o 蚶n gt a b l e ( 1 3 6 1 4 1 9 2 4 9 1 ，1 3 1 。前者提供读取活动数据簿数 据的变量，包括a c t s r c 、a c t d s t 、s c 帆t s 、s c t b y t e s 。后者读取检查点数据库数据变量，包括 c k a c 毋m 、c k a c t d s t 、c k a c t s l _ c 等n 3 】1 。 简单网络管理协议( s i m p l en e 柳。嫩m a n a 萨玎搬扎p r o 托l c o l ，s n m p ) 是i e t f 为了解决 1 t e r i 】e t 上的路由管理问题而提出的吲，它被设计成与协议无关，由一组协议和规范组成， 它提供了种扶网络设备中收集网络管理信息豹方法，也向丽络管理工作站掇告网络设备出 现的问题和错误信息。在该方案的流量采集中，流量采集计算机就是通过s m 讧p 协议读取 m 中的i p c i 】e c 坤o i n ta c c o u n 曲9 1 龇l e 中的计费信息完成的。 在该方案中，要求阿终蠢一个边赛路由器，劳且支持器a c c a 豳妇g 功能，流量采集过程 只要计算机不断循环读取m m 库中的l 鹏a 1pa c c o u 聪n gt a b l e ( 1 3 6 1 4 1 9 2 4 7 1 ) 和l m a l c h e c 坤o i n t a c c o u 血n g 呦1 e ( 1 3 6 1 4 1 9 2 4 9 1 ) 信息即可，实现比较简单。但让路由器支持 撙a c c o 喇n g 功能会明显遗翔大o u 利翔率、建存羞育黧，在流璧大的通信链路孛可能会 影响路由器的效率。所以如果要采用本方案进行流量检测须满足路由器支持并肩用口 a c c o u 船n g 功能、出口流擞比较小的两个条件。 3 蓁予瞎火黼代理报务器前蠢量聚集 如果校园网通过防火墙( 或代理服务器，两者在流量聚集中基本原理相同，下面通称防 火墙) 等设备接入到i 目敏豫t 的，防火墙至少要包含了嚣个网络接日，葵啐l 一个与肉弼连接， 另一个与外网相连接( 如网2 3 所示) 。内外网之间的所有通信通过防火墙来进行，防火墙 1 4