（计算机系统结构专业论文）基于netflow的网络行为观测系统的设计与实现.pdf

摘要 摘要 基于n e t f i o w 的网络行为观测系统( n b o s ) 的设计与实现 汤小波，龚俭东南大学 随着网络规模的日益增大，网络用户的不断增长，网络用途的多样化，用户对网络服务质量需 要越来越高，这对网络测量方法提出了更高的要求。同时网络传输能力和网络中实际业务流量的不 断增加使得基于全流采集的传统被动测量方式变得难以实施。测量产生的庞大数据也难以传输，表 达与分析。目前分析流量诸多方法中，n e t f i o w 技术已经成熟，成为互联网领域最主要的l p 流量统 计、分析和计费行业标准。 论文在c e r n e t 华东( 北) 地区网络中心江苏省网监测需求背景下，重点研究了基于n e t f l o w 数据的流量实时计算模型、网管测度定义与测量方法、两类不同数据源的统一流记录格式生成及存 储流程设计，设计并实现了基于n e t f i o w 的网络行为观测系统n b o s 。 论文首先介绍了当前网络流量信息获取技术现状，指出网络管理存在的问题，并针对当前问题 提出使用流级处理完成流量监测。在此基础上介绍流技术，着重介绍了n e t f i o w 相关技术背景，包 括基本概念、n e t f i o w 流生成技术等，并给出n e t f l o w 相关研究现状。 其次，论文对n b o s 系统设计过程中的关键问题进行了研究，包括实时流量计算模型的建立、 网络管理测度的定义与测蕈方法、系统不同类型数据管理。 实时流量计算模型针对基于流的现有流量计算模犁的不足，提出两类误差，作者着重分析了第 二类误差成因，在相关假设基础上，给出相应解决方案及模犁建立步骤。基于实际网络环境，在统 计大量流量数据后，设置模型参数具体值，如测量时间窗口等。最后给出解决第二类误差的精度估 计公式。 n b o s 通过网络管理测度刻画当前网络状况及流量行为。论文讨论相关网络管理测度定义及测 量方法。首先通过分析当前网管需求及n e t f l o w 相关字段，给出满足当前需求的网络管理测度分类。 接着分析、讨论基于n e t f l o w 流记录测度计算关键算法，主要考虑采集数据的缓存和快速访问、排 序比较两方面算法设计，设计、选择符合实际需求的两类哈希算法及直接插入排序算法。最后给出 相关网管测度的详细测量动机、测度描述及测量流程。 n b o s 的数据源包括两类：第_ 类是由路由器抛出的n e t f l o w 流记录，第二类是特定报文t r a c e 。 系统将两种不同的数据源生成统一格式的n e t f l o w 流记录文件。首先给出统一的n e t f l o w 流记录存 储格式，包括目录设计，命名格式及特定的文件存储结构。接着分别针对两类不同的数据源，给出 其转换过程：第一类转换主要依据前述流量实时计算模型中给出的相关参数，完成流数据的实时采 集、排序及存储过程；第二类转换参考特定t r a c e 格式，依据通用组流框架，完成n e t f l o w 组流机制、 n e t f i o w 流存储机制设计，并给出详细组流参数。最后给出流记录文件长期数据管理策略，以保证 系统的稳定性。 基于以上关键问题分析，论文最后给出系统总体结构设计、各功能模块与主要工作流程，实现 了一个基于n e t f i o w 的网络行为观测系统( n b o s ) 。并从功能与性能两方面完成各功能模块测试和 分析，分析结果表明，n b o s 具备了在当前c e r n e t 江苏省网下的网络行为观测功能。 【关键词】n e t f i o w ，网管测度，网络实时流量计算模型，n e t f l o w 流记录生成，数据管理 摘蛰 a b s t r a c t d e s i g na n di m p l e m e n t a t i o no ft h en e t w o r kb e h a v i o ro b s e r v a t i o ns y s t e mb a s e do nn e t f l o w t a n gx i a o b o ，g o n gj i a n s o u t h e a s tu n i v e r s i t y w i t hr a p i dg r o w t ho ft h es c a l eo fi n t e m e t ，t h en u m b e ro fu s e r s ，t h ed i v e r s i f i c a t i o no ft h eu s e ，t h eu s e r s h a v em o r en e e df o rt h eq u a l i t yo ft h es e r v i c e so ft h ei n t e m e t s ot h i sr e q u i r e m e n tn e e dn e t w o r k m e a s u r e m e n td om o r et h i n g s a tt h es a m et i m e ，i ti sd i f f i c u l t yt oi m p l e m e n tp a s s i v em e a s u r e m e n tb a s e do n a 1 1t r a f f i ct h r o u g ht h en e t w o r k b e c a u s eo ft h ei n c r e a s e m e n to ft h el i n ks p e e da n dt h et r a f f i c i ti sa l s o d i f f i c u l t yt ot r a n s m i t ，a n a l y s ea n ds t o r et h ed a t ag e n e r a t e db yt h en e t w o r km e a s u r e m e n t a m o n ga l lt h e f l o wt r a f f i cm e a s u r e m e n tt e c h n i q u e s , n e t f l o wh a sb e c o m em a t u r ea n dt h es t a n d a r do ft h el pt r a f f i c s t a t i s t i c s 、a n a l y s i sa n da c c o u n t t h i et h e s i sd o e sr e s e a r c ho nt h eo b s e r v a t i o nr e q u i r e m e n to ft h ej i a n g s up r o v i n c en e t w o r ki n s o u t h e a s t e r nc h i n a ( n o r t h ) r e g i o n a ln e t w o r kc e n t e rw h i c hp l a c e sa ne m p h a s i so nt h r e ei s s u e s ：ar e a l - t i m e n e t w o r kt r a 炳ca c c o u n t i n gm o d e lb a s e do nn e t f l o w ；t h ed e f i n i t i o no fn e t w o r km a n a g e m e n tm e t r i c sa n d m e t h o d o l o g yo fm e a s u r e m e n t ；u n i f i e df l o wr e c o r df o r m a tf r o mt w od i f f e r e n td a t as o u r c e sa n ds t o r a g ef l o w d e s i g n ，d e s i g na n di m p l e m e n tt h en e t w o r kb e h a v i o ro b s e r v a t i o ns y s t e m ( n b o s ) b a s e do nn e t f i o w f i r s t l yi nt h i st h e s i s ，c u r r e n tn e t w o r kt r a f f i ci n f o r m a t i o ne x t r a c t i o nt e c h n i q u ea n dt h ee x i s t i n gp r o b l e m i nt h en e t w o r ko p e r a t i o nh a v eb e e ni n t r o d u c e d t h ef l o wl e v e lm o n i t o r i n gi sr e f e r e dt oc o m p l e t et h et r a f f i c o b s e r v a t i o n t h e nt h ef l o w t e c h n i q u e i s g i v e n a l l i n t r o d u c t i o n ，e s p e c i a l l y t h en e t f i o w t e c h n i q u e b a c k g r o u n d ，i n c l u d i n gt h eb a s i cc o n c e p t 、t h en e t f i o wf l o wc r e a t i o nt e c h n i q u ea n ds oo n ，a tl a s tt h et h e s i s g i v e sc u r r e n tr e s e a r c hs u m m a r yb a s e do nn e t f l o w s e c o n d l y , t h i sp a p e rh a sr e s e a r c hi n s o m ek e yi s s u e sa b o u tt h ed e s i g na n di m p l e m e n t a t i o no f n b o s ，i n c l u d i n gt h em o d e l i n go fr e a l t i m e n e t w o r kt r a f f i ca c c o u n t i n gm o d e lb a s e do nn e t f i o w , t h e d e f i n i t i o no fn e t w o r ko p e r a t i o nm e t r i c sa n dm e t h o d o l o g yo fm e a s u r e m e n t 、t h ed a t am a n a g e m e n ti nt h e s y s t e m b a s e do nt h ea n a l y s i so fs h o r t a g ei nt h ec u r r e n tt r a f f i c a c c o u n t i n gm o d e l ，i nt h i st h e s i s an e w r e a l - t i m en e t w o r kt r a f f i ca c c o u n t i n gm o d e li sg i v e nt os o l v et w ok i n do fe r r o r s ，t h ea u t h o rm a i n l ya n a l y s e t h er e a s o nf o rt h es e c o n de r r o ra n dg i v et h es o l u t i o na n dt h em o d e l i n gs t e p sb a s e do ns o m e h y p o t h e s i s t h e nt h ec o n c r e t em o d e lp a r a m e t e r ss u c ha sm e a s u r e m e n tt i m ew i n d o wa r es e tf r o mt h e a n a l y s i so ft h er e a ln e t w o r kt r a f f i cd a t ai nt h ej s e r n e t 1 nt h ee n d t h ee r r o re s t i m a t i o nf o r m u l ao nt h e s e c o n de r r o ri sp r e s e n t e d n b o sd e s c r i b e st h en e t w o r ks t a t u sa n dt r a f f i cb e h a v i o rt h r o u g ht h en e t w o r km a n a g e m e n t m e t r i c s t h et h e s i sd i s c u s s e dt h ed e f i n i t i o na n dm e t h o d o l o g yo fm e a s u r e m e n to fr e l a t i v en e t w o r k m a n a g e m e n tm e t r i c s f i r s t l yt h ep a p e ra n a l y s e st h ec u r r e n tr e q u i r e m e n ta n dt h ef i e l do f t h en e t f l o wf l o w r e c o r d ，l i s t st h ec l a s so ft h en e t w o r km a n a g e m e n tm e t r i c s ，t h e na n a l y s e st h ek e ya l g o r i t h m so nt h em e t r i c c o m p u t a t i o n b a s e do n t h en e t f l o wf l o w r e c o r d ，m a i n l y f o c u so nt h eb u f f e ra n d q u i c k a c c e s s ，s o r t ，c o m p a r a t i o na b o u tt h ef l o wd a t a t w ok i n do fh a s ha l g o r i t h m sa n dd i r e c t i n s e r t i o ns o r ti s g i v e n a tl a s t ，n e t w o r km a n a g e m e n tm e t r i c sa r ei n t r o d u c e di n c l u d i n gt h em o t i v a t i o n 、d e f i n i t i o na n d m e t h o d o l o g yi nd e t a i l t h e r ea r et w ok i n d so fd a t as o u r c e si nt h en b o ss y s t e m ：t h ef i r s tk i n dd a t ac o m e sf r o mt h en e t f l o w r e c o r dp u s h e db yt h er o u t e r ；t h es e c o n dk i n di st h ep a c k e tt r a c e t h et w od i f f e r e n td a t af o r m a tw i l lb e t r a n s l a t e di n t o t h eu n i f i e dn e t f l o wr e c o r df i l e f i r s t l y , t h eu n i f i e dn e t f l o ws t o r a g ef o r m a t i s i i 摘箜 d e s i g n e d ，i n c l u d i n gt h ed i r e c t o r yf o r m a t 、f i l en a m er u l ea n dt h es t o r a g ef o r m a ts t r u c t u r e s e c o n d l yt h e t r a n s l a t i o np r o c e s si sd e s i g n e do nt h et w od a t as o u r c e ：t h ef i r s tt r a n s l a t i o ni sb a s e do nt h ep a r a m e t e r si nt h e r e a l t i m en e t w o r kt r a f f i ca c c o u n t i n gm o d e la n dc o m p l e t et h er e a l - - t i m ef l o wd a t ac o l l e c t i o na n ds t o r a g e ；t h e s e c o n dt r a n s l a t i o nw h i c hr e l yo nt h eu n i v e r s a la s s e m b l ef l o wf r a m e w o r k a n dt h es p e c i f i ct r a c e f o r m a t ，c o m p l e t e st h es p e c i f i ca s s e m b l ef l o w a n df l o ws t o r a g es c h e m ed e s i g n ，t h e ns e t st h ep r o c e s s p a r a m e t e r s f i n a l l y ，i no r d e rt og u a r a n t e et h es t a b i l i t yo ft h es y s t e m ，t h el o n gt i m ed a t am a n a g e m e n ts c h e m e i sl i s t e d f i n a l l y , b a s e do n t h ea b o v ek e yi s s u e sa n a l y s i s ，t h et h e s i sd e s i g n e da n di m p l e m e n t e dt h en b o s i n c l u d i n gs y s t e mf r a m e 、m a j o rw o r k i n gf l o wo f t h ef u n c t i o nm o d u l e s t h e nt h et h e s i st e s t sa n da n a l y z e st h e f u n c t i o n a l i t ya n dp e r f o r m a n c eo ff u n c t i o nm o d u l e s t h er e s u l t si n d i c a t et h a tt h en b o s h a st h eo b s e r v a t i o n f u n c t i o no nj s e r n e t k e y w o r d s n e t f l o w ，n e t w o r km a n a g e m e n tm e t r i c ，r e a l - t i m en e t w o r kt r a f f i ca c c o u n t i n gm o d e l ， n e t f l o wf l o wr e c o r dg e n e r a t i o n ，d a t am a n a g e m e n t i i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均己在论文中作了明确的说明并表示了谢意。 研究生签名： 边丛迭日期：丝窭复：i 午 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学 位论文的复印件和电予文档，可以采用影印、缩印或其他复制手段保存论文。 本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外， 允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文 的公布( 包括刊登) 授权东南大学研究生院办理。刀 研究生签名：逊i 鼓导师签名：篁佥日期： 第章绪论 1 1 引言 第一章绪论 随着网络规模日益增大，网络用户不断增长，网络用途的多样化，用户对网络服务质量需求也越来 越高，这就对网络管理提出了更高的要求。努力理解所有可能的传输流量、带宽需求、性能含义、安全威 胁和计费分配，是当今各种规模网络中网络管理人员所面l 临的挑战。网络管理中，记录网络流量内容，了 解网络用户行为既是网络管理的重要内容，也是进行各种决策的先决条件和关键步骤。通过对流量数据的 实时或离线分析，为网络配置修改，新技术和新硬件设备的采用，网络新应用类型的发现，蠕虫病毒检测 及网络故障的发现，提供有效证据，从而更科学地管理网络，特别是大规模网络。 通常进行网络流量测量有以下三种方法： ( 1 )利用s n m p ，查询网络设备的m i b l l l ( 2 ) 利用网络探针，如t c p d u m p i 引，e t h e r e a l l 5 i ( 3 ) 利用i pf l o w 技术，如n e t f l o w l 4 ，s f i o j 5 j 第一种方法可以得到有关网络流量大小的信息，如网络接口的输入输出的数据包数、字：倒熨等，采集 数据量小，结果精确，但无法提供流量中有关应用类型或单位、a s 等高层信息；第二种方法基予数据包 级别”( p a c k e tl e v e l ) ，能够提供高精度的网络流量应用类型信息，但采集的数据量极高，在高速链路( 如 o c 1 9 2 ) 中难以实施；第三种方法基于“流级别 ( f l o wl e v e l ) ，能够提供详尽的网络流量应用类型信息，采 集的数据量也较第二种方法少，虽然冈采用抽样机制，会导致部分流量信息丢失，测量精度卜降，但可通 过理论推导还原出原始网络流量信息。并且n e t f l o w 技术首先由c i s c o 、j u n i f e r 等网络厂商提出，得到硬件 设计支持，目前已越来越广泛地集成在路由设备中。综上可以看出，采用i pf l o w 进行网络流量测量和分 析是一种较为折中和有效的方法。 随着信息化的迅猛发展，越来越多的企业、学校等组织都建立了i n t r a n e t ，并通过i s p 提供的链 路与i n t e m e t 互联，实现内部信息与外部信息的互通，共享。按照传统网络设计方法，i n t e r n e t 仅通 过边界路由器与i n t e m e t 连接，后来由于网络安全，流量工程需要义在i n t r a n e t 和i n t e r n e t 之间增加 了防火墙、i d s 、l b 、w e b c a c h e 等，这些位于i n t r a n e t 和i n t e r n e t 之间的网络设备组成了边界网 ( b o d e r n e t ) 。对边界网进行流量测量和分析是对全网网络性能分析的关键环节。 1 2 技术背景 1 2 1 网络流量信息获取与网络管理 ( 1 ) 网络流量信息获取技术现状 每一个系统都需要管理，网络也一样，经常说的网管，就是网络管理。对于网络的管理，有很 多不同的定义，如按不同功能分，比较流行的五大功能：故障管理，性能管理，安全管理， 配置管理，计费管理；也有按不同层次分，网元管理，网络管理，业务管理等，电信网 络管理t m n 就是这么划分的。 从被管理对象来看，当前大部分系统，如基于s n m p 的网络管理系统，实际观察到的是路由器， 交换机，防火墙，服务器等设备。但网络管理中更关键的是网络承载的内容，网络管理，需要保证 各种业务系统的正常工作，如最简单的上网可以认为是一种业务。不管是什么业务系统，均会产生 流量，这些流量会经过不同的设备，服务器到交换机到路由器。要管好网络，就必须知道不同业务 系统流量情况，对各种业务流量的可视性就显得非常重要。m i b 2 、r m o n l 6 1 、m o l l 2 【 、n e t f l o w 、s f l o w 等技术就是帮助分析网络流量的，区别在于获得的数据内容丰富程度不一样。m i b 2 和r m o n 只提供 东南人学坝i 。学位论文 o s l2 层信息，m r t g i 引，s o l a r w i n d 等主要使川这些信息。n e t f l o w 提供o s l3 - 4 层信息，无法提供2 层数据，没有原始包信息，无法进行协议解码诊断。s f i o w 宣称提供3 7 层信息，但实现设备很少， 主要是f o u n d r y 和e x t r e m e 公司的设备。r m o n 2 统供的信息最为丰富，包括o s l l 7 层，但是需要额 外的产品支持才能实现，例如s n i 仃e r 、w i l d p a c k e t 、n e t s c o u t 等。w i l d p a c k e t s 还支持r m o n i 的信息读 取，而s n i f f e r 不行。n e t s c o u t 除了支持m i b 2 、r l l q o n 、r m o n 2 ( 需专用硬件实现) ，还支持n e t f l o w 。 一般可以将网络管理相关工具归为网络管理与网络分析两人类： 网络管理：日常维护，同时为以后网络调整优化提供数据； 网络分析：为网络改造及网络优化或者是为了解决某个具体问题而专门进行的活动，可以看 作是网络管理的高级阶段。 ( 2 ) 网络管理存在的问题 当前网络管理存在需要解决的问题包括如下两类： 网络运行状况 网络带宽如何使用，带宽如何构成 一t o p n 用户、应片j 、端口 。 流量中正常，异常流量及其比例 网络优化及陛能保证 如何应对网络中d d o s w o r m 病毒造成的网络堵塞问题 如何应对网络中贪婪型的p 2 p 流量 i s p 如何学控各种利用其网络的“非法”业务，如v o l p - 网络优化与升级需要提出具体的统计资料来支持相关决策 其中难点在于，网络流量巨大，网络升级至1 0 g b p s 甚至更高；各种应用层出不穷，非标准协议 越来越多，难以监测；1 p v 4 协议体系本身不足。 ( 3 ) 网络管理解决对策 针对以上分析，需要建立新的网络流量管理系统，其目标包括：了解网络带宽使用情况，知道 网络的效率，找出网络性能的瓶颈点。其中流( f l o w ) 级的处理是网络流量监测的主流。流级处理 与现有网络管理系统的关键区别如下： 在线计算 在线计算才能真正精确的实时响应，控制能力比基于统计的响应要强大。一般的i d s 因为是 p a s s b y 旁路监听方式运行，控制能力比较有限( 主要是利用t c p 会话终结与i c m p 不可达) ，因此一 种思路是和防火墙等p a s s t h r o u g h 设备联动来增强控制能力，这就需要使用防火墙等设备的专有协 议。 采样技术 当前骨干网数据流量的巨大，包采样技术应用比较重要，如s f l o w 就是基于包采样原理，因此 对设备的影响降到最低，在n e t f l o w 中也引入包采样。实际系统中经常采样1 ：1 0 0 或l ：5 0 0 等。此时 问题是采样的包流量能够准确反应全流量的特性吗? 这方面的研究目前比较多，结果表明对于大多 数流量分析而言，采样是能够真实反应全流量的特性，这除了有统计理论支持，理论给出了各种采 样方式和采样比例的误差分析，同时经过实践认可【9 】。 应用层识别 当前已有的各类工具的弱点就是没有适应当今l p 环境中应用的复杂性，占主导地位的流量往往 是非同定端口号，甚至采样常用端口号如8 0 等。这就需要对网络流量进行应用层识别，例如d p i ( 深 度包检测技术) 等。 平台支持 更灵活的系统架构，应用可扩展性，系统可伸缩性，快速满足用户需求变化。下节将对流技 术进行简单介绍。 2 第一幸绪论 1 2 2 流技术 k c c l a f f y 在 w l 中描述了流( f l o w ) 的模型：“一个流是活动的，就是指可以在一个定义好的时 限内( t i m e o u t ) 所观察到的满足一定条件的一组数据包”，流是单向的，它最少可以只由一个数据包 组成。如果一组数据包属丁同一个流，则它们应该具有一些相同的属性，这些属性主要有i l o j i p 包头的信息( 如源和宿l p 地址) ，传输层协议的包头信息( 如为u d p 协议) 和应用层的 信息( 如宿t c p 端口是8 0 ) ； 数据包自身的一些特性( 如m p l s 标签的数目) ； 数据包处理过程中的信息( 如下一跳的i p 地址，输出接口号等) 流模型在实践中已经被证明非常有用，其在许多研究中被使用l ，并且基于流的流量测量和采 集的整体框架的标准化工作正在进行之中1 1 引。 ( 1 ) n e t f i o w 技术 n e t f l o w 是c i s c os y s t e m 公司首创的流量统计技术，被应用在c i s c o 互联网操作系统( i o s ) 中i j ， 目前部署最多的版本是v 5 。它能完成o s i 参考模型二到七层的信息统计，基于硬件路由器产品的 n e t f l o w 流信息输出功能是目前主要高速网络环境下的硬件流测量机制。其标准的开放性被业界厂 商广泛支持，简单的抽样机制以及基于硬件的实现使得其更适合高速网络环境流信息的实时获取。 目前n e t f i o w 技术已经成熟，成为互联网最主要的i p 流量统计、分析和计费行业标准。各路由器厂 家产品均集成n e t f l o w 功能，其中i p f i x 标准基于n e t f l o wv 9 数据输出格式。同时v 5 版本也存在 于当前i n t e r n e t 中大部分路由设备中，支持厂商包括c i s c o 、e n t e r a s y sn e t w o r k s 、j u n i p e r n e t w o r k s 、 n o r t e l 、r i v e r s t o n en e t w o r k s 、r i v e r b e d 、p a c k e t e e r 及许多其他厂商。可能应用包括： 网络观测( n e t w o r km o n i t o r i n g ) 网络规划( n e t w o r kp l a n n i n g ) 安全分析( s e c u r i t ya n a l y s i s )应用观测( a p p l i c a t i o nm o n i t o r i n g ) 用户观测( u s e rm o n i t o r i n g )流量工程( t r a f f i ce n g i n e e r i n g ) 使用计费( u s a g e b a s eb i l l i n g ) 目标计费( d e s t i n a t i o ns e n s i t i v eb i l l i n g ) ( 2 )s f l o w 技术 同n e t f l o w 一样，s f i o w i5 j 是一种向采集器发送报告的推送技术，所不同的是，n e t f i o w 是一种 基1 ：软件的技术，而s f i o w 则采用内置在硬件中的专用芯片。这种做法消除了路由器或交换机的c p u 和内存负担，最初由l n m o nc o r p o r a t i o n 开发的s f l o w 产品自2 0 0 2 年起就在市场上销售。 s f l o w 是一种纯数据包采样技术，即每一个被采样的数据包的长度被记录下来，而大部分包被 丢弃，只留下样本被传送给采集器。由于这项技术是基于样本的，如果没有复杂的算法来尝试推测 准确的会话字节量，那么几乎不可能获得每台主机流量1 0 0 的准确值。 在使用这项技术时，交换机每隔1 0 0 个数据包( 可配置) 对每个接口采一次样，然后将它传送 给采集器。s h o w 的规格也支持l 比1 的采样率，即对每一个数据包都进行“采样”。对数据包最大采 样频率的限制取决于具体的芯片厂商和s f l o w 的实现情况。比如f o u n d r yn e t w o r k s 就提供一款每隔 一个数据包采样一次的交换机。 与n e t f l o w 限制在采样数据包的前1 2 0 0 个字节不同，s f l o w 可以输出采样数据包的任何数量的 字节，这个数量取决于具体实现的硬件限制。但由于s f l o w 采用u d p 协议，其数据报可能超过2 层 的最大传输单元( m t u ) ，需要在i p 层处理数据包的分段和重新组装。 ( 3 )n e t f l o w 与s f i o w 技术比较 目前，n e t f l o w 更多是在路由器上得到支持，而s f l o w 则在交换机上更加流行。两者都是开放 标准，但在非常大的流量传输环境中，s f l o w 采样架构可能要优于n e t f l o w s 汇集方式。 在路由器和交换机上实现n e t f l o w 的处理能力并不是问题。问题在于n e t f l o w 产生的数据包数 量会非常巨大，采集器可能会变得不堪重负。 服务提供商使用的多数路由器每秒可传送o 5 个5 0 个n e t f l o w 包。虽然世界上有很多每秒传 送数百个n e t f l o w 包的路由器，但它们不是主流。即使如此，一些传输流采集器仍可以实现每秒处 3 尔南人。坝卜学位论文 理1 0 0 0 个以上的数据包。 表1 1 网络传输流监测技术比较表 监测技术 应用范围特性不足 n e t f l o w 广域网i n t e r n e t 目汇聚方式监测传输当数据包流量很大 前主要应用在路由器没流，对主机间流量的描时，可能会给采集器带 备中述精确性接近1 0 0 ，通来负担 常基丁软件架构 s f l o w局域网，目前主要应对采样数据包的字：符对网络传输流的描述 用在交换机设备中输出无限制；通常部署不如n e t f l o w 精确 在硬件专用芯片上 1 2 3n e t f l o w 技术 ( 1 ) 基本概念 n e t f l o w 提供网络流量的会话级视图，记录下每个t c p 事务的信息，不象t c p d u m p 那样提供网 络流量的完整记录，但汇集后的信息更加易于管理和理解。 n e t f i o w 中的f l o w 是由7 个关键字段标识单方向的连接， 源i p 地址、目的i p 地址、源端口号、 目的端口号、l p 协议类型、 l o s 字节、流入路由器接口1 ，每当启用n e t f l o w 功能的路由器端口收到 一个数据包，都会扫描这7 个字段来判断此数据包是否属于一个已经存在的f l o w ，如果属于某个已 经存在的f l o w ，则更新相应f l o w 纪录内的数据包数，字节数，流结束时间等字段信息；如果不存在 这样的流记录，则在c a c h e 中生成一条新的描述这个s e s s i o n 的f l o w 。在新的f l o w 不断生成的同 时，c a c h e 内过期的f l o w 记录路由器以u d p 方式导出至指定的采集器。n e t f i o w 技术除生成相关流记 录信息之外，另一个作用就在设备内部根据n e t f i o w 流做交换( 路由) 处理。 其中介绍一下s a m p l e dn e t f l o w 概念，n e t f l o w 对设备资源消耗比较大，若全流量采集会影响正 常功能，因此设备中生成流的过程中应用包采样技术，按照1 ：n 报文采样生成流；采样模式包含如 下几种：周期抽样；随机抽样；基于时间抽样。随机采样被认为是最佳的包采样方式。 但在主干网络中，路由器开销较大，一般设置周期抽样，以减少系统开销，不影响路由器主体功能。 ( 2 ) n e t f i o w 版本 n e t f l o w 所有版本如表卜2 。目前主要应用的n e t f l o w 技术版本有2 种：n e t f l o wv 5 和n e t f l o wv 9 ，v 5 为当前主流版本，n e t f i o wv 9 采用基于模扳( t e m p l a t e ) 的统计数据输出，便于添加需要输出的数据域， 支持多种功能，如m u l t i c a s tn e t f i o w , m p l sa w a r en e t f l o w , b g pn e x th o p , n e t f l o wf o ri p v 6 等 表1 - 2n e t f l o w 版本 n e t f l o w 版本 说明 1 最初版本 5 目前最常用版本 7 与5 版本类似，但不包含a s ，i n t e r f a c e ，t c pf l a g 及t o s 信息 8 1 1 个可选聚集项，减少输出资源开销 9 可扩展的文件输出格式，支持额外字段及技术， 如：m p l s ，多播及i p v 6 ( 3 ) n e t l n o w 处理流程 4 第。帝绪论 预处理 报文处理 过滤 特征& 服务 组播 m 【p l s 脯 后处理 聚集 机制 图1 - 1n e t f l o w 处理流程 图1 1 展示了n e t f i o w 的整体流程，包括预处理( p r e - p r o c e s s i n g ) ，如报文抽样，过滤等操作； 特征及服务，如组播，m p l s ，i p v 6 等；后处理( p o s t p r o c e s s i n g ) ，如聚集机制等，通过如上处理过 程，将生成最终抛出的流记录。 ( 4 ) n e t f i o wv 5 流定义 n e t f l o w 中流定义为七元组，即( 源口地址、目的i p 地址、源端口号、目的端口号、m 协议类型、 t o s 字节、流入路由器接口) ，其流格式如表卜3 所示： ， 表1 3n e t f l o wv 5 流记录字段 ( 1 ) 源i p 地斛 ( 7 ) 字节数 ( 1 3 ) 传输层协议 ( 2 ) 宿i p 地址 ( 8 ) 流起始时间 ( 1 4 ) t o s ( 3 )下一跳路由器i p 地址( 9 ) 流终止时间 ( 1 5 ) 源a s 号 ( 4 )入站s n m p 索引号( 1 0 ) 源端l 号 ( 1 6 ) 宿a s 号 ( 5 )出站s n m p 索引号( 1 d 宿端口号 ( 1 7 ) 源掩码位数 ( 6 ) 报文数 ( 1 2 ) t c p 标记( 累积)( 1 8 )宿掩码位数 ( 5 ) n e t f l o wv 5 流生成技术 n e t f l o w 中流是单向流，网络中数据包每通过一次，启用n e t f l o w 的路由器的接口就会依据上述 七元组定义匹配流缓存中流记录，若存在相应流记录，则更新相应流记录统计量；若不存在，则重 新生成流记录，在生成新的流记录之前，要确保流缓存未满。流缓存中流记录按照如下流超时机制 生成待传输的流记录，存储至流发送缓存，并定期发送至指定采集器。 报文超时计时器( i n a c t i v et i m e r ) ，即该流记录前一个报文到达后i n a c t i v et i m e r 时间内没 有新报文到达，则该流记录超时，默认值为1 5 秒； 流活跃计时器( a c t i v et i m e r ) ，即该流记录已在流缓存中存在a c t i v et i m e r 时间，则该流 记录超时，默认值为3 0 分钟； r s t f i n 报文出现，这主要针对t c p 流，当匹配某t c p 流记录的新报文中f l a g 位为 r s t 或f i n 时，该流记录超时； n e t f l o w 将主机之间可能由成千上万个数据包组成的会话( 即传输流) 汇聚成一个n e t f l o wv 5 数据包中的一个条目( 最多可包含3 0 个会话) ，如果n e t f l o w 配置恰当并且硬件没有过载的话，这 种技术可以接近10 0 的准确性来描述经过通信设备的流量，并且对设备c p u 的影响非常小。 不过，相当的数据域在汇聚过程中仍然会丢失，只有如表1 3 中域被保存下来，数据包的其余 信息在n e t f l o wv 5 中被丢弃，而n e t f l o wv 9 可以保存数据包的前1 2 0 0 个字节