流量监控安全技术研究

中国移动集团重点 /联合研发项目结题汇报报告 项目名称： 流量监控安全技术研究 项目编号： 第 2页 一 . 开题计划完成情况 目 录 二、主要研究成果 第 3页 1.1 研究背景及目标 1.明确策略，完善标准 2. 制定适合 CMNET的安全控制方案 3.推动厂商形成具备基本功能的首批安全产品 2009 策略标准 方案制定 技术产品 项目目标 研究背景 1. 面向我公司实际网络需求，研究了基于标记的流量调度方案，研究验证，申请专利，并推动现网应用。 2. 面向实际部署需求，并结合基于标记的流量调度方案，推动产品基于单包检测，并制定标准的通信管理接口。 3. 面向实际业务和组网需求，制定了集中出入口和各省网之间的协同工作模式和业务分类安全管控模型。 2010 应用扩展 一、 CMNET互联出入口带宽拥塞，流量管控迫在眉睫 二、攻击技术迅速发展 CMNET互联出入口带宽拥塞，公司进行了流量控制设备的直路部署，初步缓解了基于 P2P等带宽滥用所造成的流量拥塞。 随着 TD-SCDMA和 TD-LTE的广泛使用，分组域数据流量明显上涨，终端智能化和 IP化的进展，造成了 DDoS攻击和僵木蠕病毒等异常流量呈现上升和难以抑制的趋势。 攻击流量汇聚所造成的服务中断已经不能通过防火墙、 IPS等安全设备控制。 2009至 2010年 DDoS所造成带宽占用增长 1倍以上，“暴风影音”等重大事件凸显。 随着移动互联网业务发展和新业务的产生，攻击和病毒技术有了新的提高，黑色产业链成熟，攻击类别和能力都有了新的提高。 第 4页 1.2 主要研究内容及分工 流控系统 异常流量清洗 僵木蠕检测 单层流量调度 项目总体协调工作由研究院负责： 1. 协调项目， 优化资源 2. 把握整体技术发展方向 分流路由配置 DNS 多层流量协同 集中管控 多应用扩展 分场景路由配置 单层方案组网验证 -研究院与北京公司 DNS安全监控方法研究 -四川公司 基于标记的流量调度方案 多标记方案 -研究院负责 单包检测方法 -研究院负责 标记与牵引共组网 -研究院与北京公司 方案设计 -研究院负责 需求提供 -四川公司 方案验证 -北京公司 基于业务类别流量调度由研究院牵头负责： 省公司根据实际运营需求，进一步促进研究院技术研发，使得技术创新工作更有针对性 场景分类和需求由省公司负责： 研究院从技术角度提出方案建议，从总体上把握项目的研发方向 由研究院牵头负责 由研究院牵头负责 旁路 DNS监控 方法 -四川公司 多层方案验证 -北京公司 流控与异常流量互操作接口 -研究院负责 异常流量清洗统一管理接口 僵木蠕检测统一管理接口 -研究院负责 第 5页 1.3 开题计划完成情况总结 (1/2) 开题要求 研究报告 方案规范 专利及其他 完成单位 11份报告 （ 15/11） 中国移动异常流量测试报告 中国移动恶意代码检测测试报告 互联互通接口染色方案验证报告 CMNET互联互通出口异常流量防护方案 流控与异常流量清洗设备互操作方案 CMNET全网异常流量部署总体方案 中国移动异常流量清洗设备技术规范 中国移动恶意代码检测设备技术规范 中国移动异常流量清洗设备测试规范 中国移动恶意代码检测设备测试规范 中国移动异常流量与流控接口规范 中国移动异常流量清洗系统统一管理平台技术规范 中国移动恶意代码检测系统统一管理平台技术规范 中国移动异常流量清洗系统统一管理平台接口规范 中国移动恶意代码检测系统统一管理平台接口规范 YF0912035一种流量控制系统和方法 研究院 2份报告 （ 2/2） 省公司异常流量现网测试报告 省网异常流量防护指导方案 北京公司 共计研究报告 4份，方案规范 13份，专利 1项，并推动相关产品以及现网部署 2份报告 （ 3/3） DNS防护系统技术规范 DNS防护系统测试规范 DNS防护系统部署方案研究 四川公司 第 6页 一 . 开题计划完成情况 目 录 二、主要研究成果 第 7页 项目主要内容 基于标记的流量调度方案 基于多层协同流量清洗方案 流量标记的方法和规则 流量调度的策略和操作 双向检测的路由策略 下游加流控 四层交换机 路由器端口镜像 快速以太网通道 标记分配的原则和方法 多层异构流量调度分析 全标记 标记 +牵引 标记 +牵引 +静态 流量回注策略 异常流量清洗和流控的接口 集中管控方案 多应用扩展 异常流量清洗系统多厂家协同管理接口 异常流量清洗系统多厂家协同管理接口 安全 DPI体系架构 基于不同应用类别的流量调度 用于数据中心的流量调度 基于用户特征 基于业务特征 用于实验室建设的流控方法 11 11 10 11 10 01 11 11 10 11 10 01 10 10 01 00000000 流 控 设 备依 据 分 类打 标 签A类 应 用 清 洗PS域企 业 用 户IDCDDoS流量 清 洗InternetDPI监 测B类 应 用 清 洗C类 应 用 清 洗D类 应 用 清 洗第 8页 2.1基于标记的流量调度方案 需求分析（ 1） 标记调度 集中管控 多层协同 应用扩展 I n t e r n e t1 8 U 清 洗 中 心3 U N e t F l o w 检 测 中 心管 理 中 心存 储 组攻 击 包 数 据清 洗 前 流 量正 常 数 据 包清 洗 后 流 量P S 域8 U D P I 检 测 中 心8 U 清 洗 中 心企 业 用 户管 理 中 心I D C引 流 - 回 注分 光 / 镜像C o r eI n t e r n e t2 0 U 2 0 U防 火 墙 + N A TP S 域清 洗 前 流 量清 洗 后 流 量旁路 DFI+流量牵引 旁路 DPI+流量牵引 直路全流量清清洗 适于解决小流量攻击 较细粒度检测 全流量串入骨干网络风险较高 与既有的宽广设备有一定的功能交叉 放在现有出入口方案中处在多次解数据包的重复工作 适于解决大流量攻击 粗粒度检测 节省成本 Netflow-based检测中心可复用 适于解决小流量攻击 较细粒度检测 有一定光衰影响 与既有的宽广设备有一定的功能交叉 放在现有出入口方案中处在多次解数据包的重复工作 第 9页 2.1基于标记的流量调度方案 需求分析（ 2） 标记调度 集中管控 多层协同 应用扩展 综上，可以看出，骨干网出入口不适合简单使用直路部署方案，通过基于动态路由的牵引回注方式难以满足需求，需要一种新方案简化维护难度，提高效率。 NAT、虚拟化等业务方式受限制 逐链路部署，投资大 产生多次清洗，感受差 全流量分析，效率低 配置繁复多变，维护难 引入了新故障点 导致后果 技术难题 牵引回注缺陷 直路部署缺陷 第 10页 2.1基于标记的流量调度方案 技术方案 标记调度 集中管控 多层协同 应用扩展 时间 固定基线（红） 流量值（黑） 超越临界值 超越临界值 超越临界值 动态基线（蓝） 流量 流 控 设 备依 据 分 类打 标 签A 类 应 用 清 洗P S 域企 业 用 户I D CD D o S 流量 清 洗I n t e r n e tD P I 监 测B 类 应 用 清 洗C 类 应 用 清 洗D 类 应 用 清 洗流控设备依照流量基线与实际流量进行对比，当流量不符合基线形态，就判定流量异常。 路由器根据标记，进行策略路由，将流量进行分发。 安全设备 安全设备 标记流量 分发流量 无标记流量返回 已决策 0跳采用流控专有接口输出 1跳之内可使用 VLAN标识 2跳以上须使用 TOS/DSCP 标记规划 第 11页 2.1基于标记的流量调度方案 双向检测 标记调度 集中管控 多层协同 应用扩展 1）下游增加流控设备 2）路由器换为四层交机 依据端口号 区分业务并分流 3）启动路由器端口镜像 在路由器的 上下游端口， 对源 /目的 IP， 以及 port进行 hash，根据 hash值确定 回来的流量 发往哪个端 口。 3） EtherChannel 1）判断准确但增加 网元，增加投资 2）判断较准，无需增 加网元但需增加投资 3）回流准确但需增加 路由器端口，增加安全 设备处理能力 4）无需增加网元，无 需增加安全设备处理能 力，判断较准 全流量镜像 安全设备 第 12页 2.2 基于多层协同流量清洗方案 总体方案 标记调度 集中管控 多层协同 应用扩展 如果使用两位预留位就可以达到多层拒绝服务攻击过滤的目的 使用多层拒绝服务攻击防护方案可以避免单点防护投资过大的问题 安全运维模式可能会有调整，安全策略的维护将专业性更强，数据专业的安全运维能力将加大。 需要指出的是用户侧可能存在基于染色的攻击或绕开安全控制，只需将凡是来自用户侧的携带染色标记的流量过滤即可解决 其他运营商 互联出口标记 骨干网层防护 城域网层防护 接入网层防护 11 11 10 11 10 01 11 11 10 11 10 01 10 10 01 00000000 第 13页 2.2 基于多层协同流量清洗方案 分场景策略 一级应用场景 二级应用场景 骨干层，互联出口，安全级别最高级，流量检测及清洗设备要求大颗粒、高精度，高性能； 大区级省网出口、城域网出口，安全级别较高，流量检测及清洗设备要求大颗粒、高精度，高性能； 直辖市及普通省网出口，安全级别一般，流控及清洗设备精度及处理能力要求低于前两种场景； 分大区 分地市 安全级别 防 DDos攻击四种典型应用场景 三级应用场景 四级应用场景 互联点 直辖市 地市级出口，安全级别一般，可以按需考虑部署流控及清洗设备； 防 DDOS攻击 五种关键元素 标记调度 集中管控 多层协同 应用扩展 第 14页 2.2 基于多层协同流量清洗方案 标记规划 使用预留位解决清洗问题 复用 QoS进行协议分类，并利用其它位创建小类 共同规划 CMNet省网 核心路由器 业务接入控制点 业务接入控制点 BRAS SR BRAS SR 业务接入控制点用户侧 QoS配置 流分类 标记（安全） 限速 核心路由器上行接口 QoS配置 队列调度 &拥塞控制 流量清洗 核心路由器和业务接入控制点网络侧 QoS配置 队列调度 &拥塞避免 专有协议安全控制 二层接入网络 根据 802.1p优先级进行队列调度 将 DSCP优先级映射到 802.1p优先级 标记调度 集中管控 多层协同 应用扩展 待决策 第 15页 2.2 基于多层协同流量清洗方案 标记分配 类别 DSCP VLAN PRI EXP PRI 队列调度 拥塞避免 业务类型（参考） CS7 56 7 7 PQ Tail drop 业务信令（如 IMS信令） CS6 48 6 6 PQ Tail drop 网络控制信息 EF 46 5 5 PQ Tail drop 集团客户实时语音类（如 IMS语音） AF41 34 4 4 WRR/WFQ WRED 集团客户视频和流媒体类（如IMS视频和多媒体业务） AF31 26 3 3 WRR/WFQ WRED 集团客户虚拟专网业务 AF21 18 2 2 WRR/WFQ WRED 预留 AF11 10 1 1 WRR/WFQ WRED 预留 BE 0 0 0 WRR/WFQ WRED 个人互联网业务、集团客户互联网业务 1st CC 1 0 0 n/a WRED 第一级异常流量清洗 2nd cc 7 0 0 WRR/WFQ WRED 第二级异常流量清洗 标记调度 集中管控 多层协同 应用扩展 第 16页 2.2 基于多层协同流量清洗方案 现网验证 基于标记分流 B r e a k i n g P o in t E l i t e终 端服 务 器A D S 标记调度 集中管控 多层协同 应用扩展 多层协同流量清洗方案验证 单层协同流量清洗方案验证 基于标记分流 BGP牵引 基于标记分流 BGP牵引 静态路由 根据北京公司现网验证， ADS使用完全与现网一致的配置，采取多级 DSCP标记，模拟了出入口、省骨干网和接入网多级多策略的流量牵引调度。策略包括基于标记的分流、 BGP路由牵引和静态路由等三种不同规则。验证结果符合预期，未出现多次清洗和流量调度不准确情况。 回注流量DSCP标记还原为“ 0” 回注方式 第 17页 2.2 基于多层协同流量清洗方案 与流控接口 标记调度 集中管控 多层协同 应用扩展 日志类型字串 含义 Severity SeverityValue 备注 divert_start 清洗指令 Notice 5 流控系统 -流量清洗系统 threshold_update 目标值更新 Notice 5 流控系统 -流量清洗系统 divert_status 清洗状态 Notice 5 流量清洗系统 -流控系统 divert_running 清洗进行中 Notice 5 流量清洗系统 -流控系统 confirm 确认消息 Notice 5 双方 divert_start（ DST， TSD） confirm 清洗指令 目标更新 threshold_update（ DST， TSD） confirm 清洗开始 divert_status （ STA， AFg） confirm 清洗遇忙 divert_running （ CAP， DOID） confirm 停止新任务 响应中断 confirm confirm 停止标记 待决策 接口消息 消息处理流程 第 18页 2.3 集中管控方案 总体方案（ 1） 多 标记调度 集中管控 多层协同 应用扩展 安全态势特征数据库 统一安全策略控制平台 IP信誉 数据包特征 用户行为特征 网络行为特征 待检测数据特征 统一安全态势分析平台 安全态势评价模型 事件趋势预测模型 Internet WLAN 3G/LTE LAN PON 个人 客户 家庭 客户 集团 客户 BRAS GGSN DPI设备 接入层 承载层 终端 流控 Web Cache CDN 流量清洗 不良信息 僵尸 /木马 流控 彩信计费 应用层 P2P Cache 流控 云安全平台 蜜网系统 客户安全组 AD攻防平台 FW IPS IDS Security Client 网络用户行为分析平台 全网控制策略部署平台 接受控制策略 上报安全态势 接受用户模板 待决策 第 19页 2.3 集中管控方案 总体方案（ 2） 多 标记调度 集中管控 多层协同 应用扩展 多 点感知，多层感知是面对未来复杂安全环境的重要技术特征。 通过对终端、接入、承载和应用部署分布式感知点，感知网络行为、应用内容和用户行为等多层信息，达到网络和信息安全的全面监控。 多 点控制，多级控制是未来多网融合电信运营商复杂网络控制技术的发展方向。 通过在网络侧出入口等集中位置和终端侧可控软件模块部署分布式控制点，可以达到安全控制策略精细化和防御纵深一体化，完成全网监控。 一 点决策，一处维护是降低网络 OPEX和加强网络集中管控的重要举措。 通过在网络侧统一部署安全态势分析和策略控制平台，可以达到全网安全状态和趋势准确呈现和预测，安全策略及时下发，完成全网态势监控。 用户行为 应用内容 网络行为 流量清洗 不良信息 僵尸 /木马 流控 云安全平台 蜜网系统 AD攻防平台 感知 控制 客户安全组 各模块现状 各模块演进 流控 调度 &染色 先验感知 云安全平台 AD攻防平台 蜜网系统 态势感知 流量控制 流量清洗 不良信息 僵尸 /木马 客户安全组 对流量染色，各模块按照染色选取流量 第 20页 2.3 集中管控方案 僵木蠕现网部署方案 多 标记调度 集中管控 多层协同 应用扩展 Internet WLAN 3G/LTE LAN PON 个人 客户 家庭 客户 集团 客户 BRAS GGSN DPI设备 接入层 承载层 终端 流控 Web Cache CDN 流量清洗 不良信息 僵尸 /木马 流控 彩信计费 应用层 P2P Cache 流控 互联出入口 1 僵木蠕只进行独立检测，可通过全流量分光、部分流量镜像等方式进行数据采集，并进行全部或部分流量的监控 2 僵木蠕检测后通过发干扰包或与流量清洗设备配合过滤恶意流量 3 形成统一的安全态势分析系统，协同Cache、不良信息检测工作 已决策 第 21页 2.3 集中管控方案 僵木蠕检测原理 多 标记调度 集中管控 多层协同 应用扩展 监控服务器 检测服务器 僵木蠕特征库 Internet CMnet 日志数据 云安全平台 IPS 特征检测 防病毒网关 目前共测试五个厂家产品，主要分为三类技术，现网流量情况较适合前两种。 IP信誉 + + + 第 22页 2.4 集中管控方案 统一管理平台部署和接口 A 省 干A 厂 商 流 量 清 洗 系 统C M N E TB 省 干B 厂 商 流 量 清 洗 系 统C 厂 商 流 量 清 洗 系 统C 省 干集 团 统 一 管 理 中 心流 量 策 略 管 理 、 流 量 查 询 统 计清 洗设 备清 洗设 备清 洗设 备统一管理平台 （ FTP Client） 下级管理系统 （ FTP Server） 统一管理平台 （ Syslog Server） 下级管理系统 （ Syslog Client） 分布式管理模型和接口 统一管理平台部署示意图 已决策 为适应不同厂家分别建设北、上、广三个不同出入口的需求，集团统一建设管理中心集中管理异常流量清洗和僵木蠕检测系统，使用 FTP模式完成报表的收集， Syslog模式完成告警的实时采集，并统一呈现。 多 标记调度 集中管控 多层协同 应用扩展 第 23页 2.4 多应用扩展方案 应用分类安全管控 标记调度 集中管控 多层协同 应用扩展 发热门诊 挂号室 分诊台 A科 B科 C科 流 控 设 备依 据 分 类打 标 签A 类 应 用 清 洗P S 域企 业 用 户I D CD D o S 流量 清 洗I n t e r n e tD P I 监 测B 类 应 用 清 洗C 类 应 用 清 洗D 类 应 用 清 洗出院 DDoS流量清洗 流控设备标记（染色） 路由器分流 精细化检测 安全流量 基于标记的异常流量管控可面向复杂的应用，按照业务应用分类提供专业化的安全管控手段。 待决策 第 24页 2.4 多应用扩展方案 DDoS结合应用分类管控 标记调度 集中管控 多层协同 应用扩展 运营商网络 Internet 安全管控体系 异常流量清洗 管理中心 正常数据流 流量超限 DNS应用安全设备 DPI DPI DSCP： 111100 DNS应用数据 DSCP： 000100 DSCP： 000100 DSCP： 000000 DSCP： 000100 待决策 数据标记变化 DDoS位 业务位 通过改变标记策略，可以同时实现 DDoS防护和特定业务应用防护，并使得二者无冲突。 第 25页 2.4 多应用扩展方案 方案优势 标记调度 集中管控 多层协同 应用扩展 IP TCP/UPD APPLICATION IP TCP/UPD APPLICATION IP TCP/UPD APPLICATION IP TCP/UPD APPLICATION IP TCP/UPD APPLICATION IP TCP/UPD APPLICATION IP TCP/UPD APPLICATION IP TCP/UPD APPLICATION DDoS 流控 安全设备 安全设备 传统组网： DDoS设备需要检查 IP+TCP/UDP层，以发现 Flood 攻击，检测应用层以判断是否有应用层 DDoS攻击； 流控设备需要检测所有层次，以精确判断流量类 型 ； IPS设备需检测所有层次，判断业务类型，以检 测蠕虫等流量； 本研究方案 DDoS设备只检测 IP+TCP/UDP层以发现流量型攻击。 流控设备需要检测所有层次，以精确判断流量类型 ； 安全设备仅负责检测 Application层次，精细化检测安全威胁 在 DDoS层减少了对应用层的判断；在安全设备层面去了对 IP, TCP/UDP层，以及应用类型的判断，同时进行精细化的安全 防护。 DDoS 流控 第 26页 2.4 多应用扩展方案 数据中心的安全管控（ 1） 标记调度 集中管控 多层协同 应用扩展 数据中心 B 数据中心 A 防火墙隔离 集中数据中心 李跃总裁 2010年总经理培训班讲稿第 20页 传统的防火墙基于 IP的安全控制策略已经成为阻碍数据中心集中化的技术瓶颈。推动云计算和虚拟化的发展，集中化数据中心的迫切需求，要求新的安全控制技术的出现。 第 27页 2.4 多应用扩展方案 数据中心的安全管控（ 2） 标记调度 集中管控 多层协同 应用扩展 27 基于用户的安全控制 基于业务特征的安全控制 针对数据中心融合需求，探索研究基于用户和业务特征等方式的安全控制技术，以简化防火墙部署体系，提高数据资源访问效率。 待决策 第 28页 2.4 多应用扩展方案 面向实验室建设方案 标记调度 集中管控 多层协同 应用扩展 WLAN AP 无线 PS域 无线 CS域 有线网络接入 流控设备 路由器 互联网 AIX windows Linux 主机 互联网应用 电信网应用 CS域核心网 SMS MMS FW IDS IPS 防病毒 服务器 安全设备 逃逸目标 FW IPS AV WAF +-+-+-+-+-+-+-+-+ | DS5 | DS4 | DS3 | DS2 | DS1 | DS0 | / | / | +-+-+-+-+-+-+-+-+ 1 1 1 0 0 0 实验室建设示意图 流控标记策略 表示数据流穿过 FW， IPS和防病毒网关 路由器流控入方向策略： DSCP31FW； DSCP15IPS; DSCP7AV;DSCP3WAF; DSCP1DSCP0 根据不同入端口置位如 FW： DSCP1 基于标记的流量控制方案的应用前景广泛，该建设方案可以使得实验室环境中，对环境的改变转变为对流控设备标记的改变，使得自动化的攻防研究成为可能。 第 29页 2.4多应用扩展 DNS安全防护（ 1） 四川公司 CMNet域名解析系统采用缓存和授权分开组网模式，前端采用两台 Cisco 5550防火墙作为 DNS系统安全防护及访问控制。 DNS安全实时监测平台为旁路的方式部署，通过镜像数据方式抓取前端 8508上所有数据包进行分析，监测平台根据预设规则加以处理，对监控的异常 IP通过通信口不防火墙和 DNS服务器进行联劢处理。 这种部署结构适用于丌同网络的 DNS系统，丌影响 DNS系统的运行。 标记调度 集中管控 多层协同 应用扩展 系统组网图 已决策 第 30页 2.4 多应用扩展 - DNS安全防护（ 2） 预警环节： 分析海量 DNS请求攻击，建立一套对异常请求攻击的预警模型，包括 DNS解析总量及失败量模型 、 单个域名解析请求增量模型 。 启动环节： 系统实时关注 DNS服务器运行状态，系统设定适当的启劢条件，当 DNS服务器符合达到一定压力时，启劢 DNS保护处理流程，对发起攻击的 IP进行封堵。 封堵环节： 系统建立单一 IP单位时间域名请求话务模型，通过模型可判断提取发起异常解析请求的 IP地址。当某 IP在单位时间的请求量骤增并达到设定条件，列入僵尸库，根据请求总量大小，按序封堵。 保护环节： 在封堵过程中，系统同时实时关注防火墙负载情况，当防火墙符合达到一定压力时，停止添加阻断策略，防止防火墙因过载导致退服风险，对防火墙及整个网络起到智能保护作用。 还原环节： 当攻击结束， DNS服务器负载逐步恢复到正常状态后，系统根据智能化策略老化机制，撤除防火墙上的阻断策略，使得整个网络运行状态恢复到攻击发生前的原始正常状态。 预警 启动 封堵 保护 还原 标记调度 集中管控 多层协同 应用扩展 海量 DNS请求的安全防护机制 第 31页 2.4 多应用扩展 - DNS安全防护（ 3） 缓存投毒保护模型： 在 DNS递归请求时，对于发往同一个递归 DNS服务器的一个请求，正常的情况只产生 1个回应包。当在 10秒内收到来自该 IP地址的多个相同事务 ID的回应包时，说明这个请求链路之间被缓存投毒，系统将实时告警，并自劢登陆缓存服务器进行数据清除。由于缓存数据清理后， DNS服务器通过递归重新获取该域名的 IP列表，达到域名保护作用。 解析 DNS请求包 与回应包 否 DNS域名 缓存