Logbase日志审计系统技术白皮书.doc

LogBase日志管理审计系统白皮书LogBase日志管理审计系统技术白皮书杭州思福迪信息技术有限公司SAFETYBASE INFOTECH CO.LTD目 录第一章 概述3第二章 为什么需要日志审计系统4第三章 Logbase日志审计系统总体介绍62.1 产品简介62.2 体系架构7第四章 产品功能84.1日志采集84.2集中存储84.3异常事件监控告警94.4日志检索104.5综合报表分析10第五章 部署方式12第六章 产品特性136.1 高速检索能力136.2安全保障能力高136.3 灵活的查询条件146.4 自定义日志类型支持14第一章 概述随着政府、企事业单位等各类组织的正常工作开展对信息化的依赖程度越来越高，信息系统安全防护体系的重要性也随之增高。对各类日志进行日常性安全审计是信息系统安全维护的重点工作之一，目前，由于日志存放分散、数量多、格式不统一、保存周期短、易被篡改破坏等原因，手工开展日志审计工作已逐渐变为一项不可能完成的任务。Logbase日志审计系统是思福迪自主研发的日志审计产品，它具备对整个信息系统中的各类日志进行集中采集、集中管理、集中审计的能力。Logbase日志审计系统能够对操作系统（windows、Unix、Linux、BSD）、网络设备(路由器、交换机)、安全设备(防火墙、代理设备等、防病毒系统)、应用系统（WEB服务器、邮件服务器、FTP服务器、中间件系统等）、数据库系统记录日志等各类不同日志进行集中采集，并集中存储到Logbase日志审计系统中，同时审计系统能够对各日志中的异常事件如：系统故障、黑客入侵、违规访问、配置更改等事件进行审计。通过Logbase日志审计系统的部署，一方面可以集中收集、长时间存放所有的记录日志，避免日志遭到恶意篡改或删除而在安全事件发生时无据可查的状况发生，另一方面，Logbase日志审计系统强大的日志审计功能可以为组织审计人员提供日志实时监控、高效检索、审计报表等日志审计手段，从而使原本不可能完成的海量日志审计工作可以在短时间内轻松完成，大大减少信息部门的工作量。第二章 为什么需要日志审计系统标准法规合规性需求随着国家、各行业对信息安全理论研究的深入，日志审计系统在各个相关的国家、行业标准及要求中均被多次提及，如：信息安全等级保护 、信息安全风险管理规范 、基于互联网电子政务信息安全指南、银行业金融机构信息系统管理指引等等。此外，国外、国际上的相关标准、规范也均明确提出信息安全审计系统的重要性，如SOX法案、ISO27001/ISO17799等均要求企业对重要系统、设备的运行日志进行保留，并进行周期性第三方审计。安全技术保障体系建设需求一个完整的信息安全技术保障体系应由保护(P)、检测(D)、响应(R)三部分构成，而日志审计是检测安全事件的不可或缺重要手段之一。目前，大部分信息系统的所依赖的网络入侵检测系统只能检测部分来之网络的攻击事件，对运维人员的违规操作、系统运行异常、设备故障等安全事件缺乏监控能力，而这些异常事件恰恰是对内部信息系统安全威胁的最大部分。日志审计系统通过分析各设备、系统、应用、数据库产生的运行日志，能够及时发现入侵检测系统检测到的各类安全隐患，并及时给予告警，从而避免安全事件的发生。技术管理需求由于信息系统的规模、复杂性日益增加，采用手工方式对日志信息进行审计存在诸多弊端，如：安全性低：日志信息分散在各系统中，极易被恶意篡改或清除；审计效率低：由于日志信息数量庞大，人工很难对海量日志进行审计；审计不全面：往往在事故发生后，管理人员才会去查看相关设备的日志信息，其他更多设备的日志却被忽略；由于目前的应用系统往往都是相互关联的，一个故障现象，往往要对数台甚至更多网络设备及主机的日志进行关联分析才能确定真正的故障原因，缺乏有效的统一日志审计平台可能导致无法快速进行故障定位，企业追究安全事件责任也会缺乏客观依据。因此，有必要在现有信息系统中部署统一、高效、全面的日志安全审计系统，一方面可以满足法规、标准的要求，另一方面可以切实加强组织对整个信息系统的安全监控能力，完善信息安全技术体系建设。第三章 Logbase日志审计系统总体介绍2.1 产品简介LogBase日志审计系统是思福迪公司自主研发的拥有自主知识产权的专业日志安全审计产品，系统通过集中采集信息系统中的系统安全事件、用户访问记录、系统运行日志、系统运行状态等各类信息，经过规范化、过滤、归并和告警分析等处理后，以统一格式的日志形式进行集中存储和管理，结合丰富的日志统计汇总及关联分析功能，实现对信息系统日志的全面审计。LogBase日志审计系统提供对信息系统中各类主机、数据库、应用和设备的安全事件进行实时采集、实时分析、异常报警、集中存储和事后分析功能，支持分布式、跨平台部署，具备对各类网络设备、安全设备、操作系统、WEB服务、中间件、数据库和其它应用进行全面的日志安全审计能力。通过Logbase系统，企业管理员随时了解整个IT系统的运行情况，及时发现系统异常事件及非法房屋行为；另一方面，通过事后分析和丰富的报表系统，管理员可以方便高效地对信息系统进行有针对性的安全审计。遇到特殊安全事件和系统故障，Logbase可以确保日志完整性和可用性，协助管理员进行故障快速定位，并提供客观依据进行追查和恢复。因此，Logbase可以帮助用户有效降低IT系统的故障而带来的损失，降低IT系统的运维成本和管理的复杂度，显著提高系统整体的安全性、可靠性和运行效率，保证IT系统7X24的正常、持续、稳定运行，降低信息系统的整体安全风险。2.2 体系架构Logbase日志审计系统基于嵌入式Linux系统进行开发，由日志采集模块、日志审计模块、日志管理等主要模块组成。LogBase日志审计系统采用B/S架构，管理员通过HTTPS方式对主机进行管理。Logbase的系统架构如图3.1所示。图3.1 LogBase日志审计系统架构示意图第四章 产品功能4.1日志采集Logbase日志审计系统经过多年的研发，已经具备跨平台、分布式日志采集能力。支持广泛的采集对象： 操作系统：windows、unix、Linux、BSD等 网络设备：cisco、华为等 安全设备：防火墙、代理设备、负载均衡设备、AV等 应用日志：WEB(IIS、apache等)、Mail、FTP等 数据库日志：ORACLE、MSSQL记录文件等采集方式： 专用采集Agent：通过安装在主机中的软件Agent进行采集 日志协议采集：支持SYSLOG、SNMP TRAP等采集协议Logbase不仅支持对已知日志类型的采集分析，也支持通过Logbase扩展模块采集其他未知的日志类型。4.2集中存储Logbase日志审计系统内置大容量(产品具体容量见相关产品资料)的硬盘存储空间，能够满足大多数环境下客户对日志的存储需求，设备采用Raid硬盘阵列，可有效防止由于硬盘硬件问题而带来的数据丢失。同时Logbase还支持外挂存储系统，如：NAS、SAN、磁盘柜等，从而实现存储空间的海量扩充。Logbase采用磁盘空间“零”管理机制，管理员无需对存储空间进行人工管理，系统将在磁盘空间不足时自动清理最早的历史数据，从而保障系统的正常运行。LogBase支持对历史日志进行以下管理操作： 日志备份：支持按照类型、时间范围等方式对历史日志进行备份；备份文件为加密格式，只能导入Logbase系统中才能查看； 日志恢复：对备份的日志恢复到Logbase系统中，进行再次审计；4.3异常事件监控告警Logbase日志审计系统具备对采集到的日志进行实时分析能力，依照系统内置的安全事件规则库，对日志信息进行实时事件匹配，并对其中的异常事件、重点关注事件进行多种方式的告警，便于安全维护人员及时发现信息系统中的异常状况Logbase日志审计系统内置大量的安全事件监测规则，检测对象涵盖windows、unix、linux、web、ftp、mail、网络设备、防火墙、数据库等多个系统。安全事件分析内容包括：系统故障、帐号登录、帐号管理、服务管理、网络配置、关键配置文件访问更改、WEB攻击、设备故障等各个方面。安全事件库通过支持用户自定义方式进行扩充，管理员可以在规则维护界面中根据需要自行添加安全监控事件。告警方式目前支持：短信、邮件、屏幕等方式。4.4日志检索LogBase系统在接收日志信息时，根据不同的日志种类进行不同的格式化处理，在保留所有日志原始信息的同时将日志根据字段进行分割处理。用户在检索日志时，可以根据日志的类型，字段内容进行多重条件精细匹配，如：日志源IP、日志生成时间、任意字段内容等；从而实现日志的快速准确定位；Logbase日志审计系统支持对每次查询结果的导出功能，管理员可以将查询结果以.csv格式下载到本地，便于人工二次处理或给其他分析系统使用。4.5综合报表分析除了通过实时异常事件告警、检索分析之外，Logbase日志审计系统还为审计人员提供了直观灵活的报表功能。Logbase日志审计系统内置了大量的安全审计报表，如windows系统事件统计报告 、windows安全事件分析报告、unix系统高危日志分析报告、网站访问分析报告等等。报表支持以HTML、EXCEL等方式导出。除了系统内置的报表模板外，Logbase还支持灵活的自定义报表模板扩展功能，管理员可以根据需要，随时增加需要的审计报表。第五章 部署方式Logbase日志审计系统部署方式灵活，只需为其分配一个独立IP地址即可使用。网络中的设备通过syslog、snmptrap协议自动发送日志到审计系统中，或者通过Logbase采集agent软件从操作系统中采集各类日志信息。第六章 产品特性6.1 高速检索能力LogBase系统采用了思福迪公司自主开发的基于海量日志索引的日志检索引擎，避免了在采用关系数据库在处理海量日志数据时的低效率问题，采用了“基于预测的动态索引技术”、“数据正交分组技术”及“适应磁盘的索引存储”“即时结果反馈技术”等核心技术手段，实现了对日志的高速检索能力。对Logbase缓存中的日志，四重以内组合条件查询，能够在5秒内即返回完整的检索结果。6.2安全保障能力高l 系统内部存储为Raid5阵列，即能保障日志信息在设备内的安全存储需求，又能保障高效的检索速度；l 采用自主研发的专有日志存储系统，避免了主流数据库本身带来的安全问题；l 系统内置安全防火墙系统，可以设定严格的访问源，进一步保障系统本身的安全性；l 系统底层采用嵌入式64位Linux系统，系统内核已进行全面精简、优化，在内核级别保障系统本身及日志的安全性；l 系统对内部的管理帐号具有严格的访问权限控制，能够有效防止内部管理员的越权访问。l 采集Agent与主机之间采用内部加密协议进行通讯；内部数据及备份数据以加密方式存储；l 管理员使用HTTPS进行远程访问，杜绝网络窃听的发生；l 系统级防数据篡改、删除设计，确保日志本身的安全性；6.3 灵活的查询条件用户在检索日志时，可以根据日志的类型，字段内容进行精细匹配，如：日志源IP、日志生成时间、任意字段内容等；从而实现日志的快速准确定位；LogBase日志审计系统支持的多重条件查询规则设定，支持的操作符有：、=、不等于、包含、时间区间等等十多种常见逻辑符号；支持跨日志查询，管理员能够通过设