F5HTTP压缩技术.doc

白皮书F5具有智能压缩能力的 BIG-IP 系统可缩短应用交付时间并优化带宽概述通过互联网交付应用的数量越来越多、复杂程度也越来越高。透明容量 (sheer volume) 和网际协议中的干扰 (chattiness) 可用来提升带宽。但这将导致延迟增加、响应时间延长、最终用户体验不佳以及应用性能下降。而就企业声誉及生产率方面而言，这将给企业带来巨大损失。压缩技术可显著改善应用性能。本白皮书将主要针对以下几个方面展开讨论：压缩的必要性、当今市场上压缩 web 流量的几种方法以及功能强大的 F5 BIG-IP 系统如何帮助企业在加速应用交付的同时，智能优化其带宽。什么是压缩？压缩是从数据流中移除冗余模式的一种优化技术，采用这项技术，将传输更少量的数据包，并降低带宽损耗，从而大大改善应用性能。由于通过网络从服务器传至最终用户的数据包减少，应用数据便能更快地交付。HTTP 压缩普遍用于 web 应用，它有助于降低 web 对象消耗的带宽流量，显著减少最终用户的响应时间。GZIP 是一种由标准浏览器支持、用于 web 流量的流行 HTTP 压缩技术。大多数浏览器配置均支持 HTTP 1.1 标准，即“content-encoding（文档编码方式）”。借助 GZIP，客户机浏览器本质上需要与服务器协商，表明其能够接收编码数据。一旦协商一致，GZIP 便使用客户机支持的编码格式，对 web 服务器发送的数据进行压缩。在下表中，消息 1 显示客户请求压缩，消息 2 则显示服务器接受并确认 GZIP 压缩请求。GET / HTTP/1.1Host: User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.5)Gecko/20031007 Firebird/0.7Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,video/x-mng,image/png,image/jpeg,image/gif;q=0.2,*/*;q=0.1Accept-Language: en-us,en;q=0.5Accept-Encoding: gzip, deflateAccept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7Keep-Alive: 300Connection: keep-alive消息 1：客户机请求压缩HTTP/1.1 200 OKDate: Thu, 04 Dec 2003 16:15:12 GMTServer: Apache/2.0Vary: Accept-EncodingContent-Encoding: gzipCache-Control: max-age=300Expires: Thu, 04 Dec 2003 16:20:12 GMTX-Guru: basic-knowledge=0, general-knowledge=0.2, complete-omnipotence=0.99Content-Length: 1533Content-Type: text/html; charset=ISO-8859-1消息 2：服务器确认压缩请求一旦确定压缩类型，会话将开始使用约定的压缩技术交谈。浏览器将对服务器接收的数据进行实时解压，这将减少传送的数据量、提高页面显示速度。对源于 web 服务器的数据进行压缩的方式有两种：动态压缩和预压缩 (precompressed)。动态内容加速机制主要针对 HTML、XML、CSS、Java、JavaScript 以及 WML等传输数据进行实时压缩。该机制在电子商务应用、数据库驱动站点及其它许多应用中尤为实用。预压缩数据是指预先生成并以“ html.gz ”文件或其它格式文件存储在服务器上的文本型数据。预压缩数据之后，实时压缩/解压之前，CPU 负载将大为减缓。挑战为什么需要压缩？由于应用日益“Web 化 (webified)”，web 流量几乎每年就翻两番。随着带宽需求呈指数级增长，企业将面临诸如低带宽客户连接类型、高网络延迟，以及较差应用响应类型等问题。网络管理员解决应用性能问题的传统办法是不断丢弃有故障的带宽。由于当应用扩展或部署下一个“大型”应用时，网络管理员需要重复执行这一流程，因此，这种办法并不适用。此外，带宽价格未能按预期迅速降低，这使得提升网络容量要比实施压缩更为昂贵。以下将就推动压缩技术发展的一些详细因素进行探讨： 客户机访问速度以及“最后一英里 (the last mile)”瓶颈问题：由于存在多种连接访问方式、多种可用带宽以及各类复杂路由协议，应用流量受到多方面的制约，这导致应用性能经过一段时间以后会有所下降。所有这些不确定因素带来一系列连锁反应并造成多方面的影响，具备“智能压缩”能力的应用因此显得意义非凡。例如，由于存在较低的可用带宽及高延迟现象，拨号用户或“卫星用户”将遇到更长的响应时间，这将导致应用根本无法使用。而单是压缩拨号和卫星流量这一特性，就将大大降低 CPU 对交换机的负载需求，从而可以更低的代价实现更高的效率。那些忽视对宽带用户端的流量进行压缩的企业，可能无法享受到压缩所带来的最佳优势。 网络吞吐量与带宽限制：各个企业面临着智能使用当前带宽的挑战。随着 Web 应用对象的体积稳步攀升，各个企业将会经常面临带宽瓶颈问题。这样，当带宽不足导致高延迟时，其它应用的速度将会变慢。对于诸如 VoIP 等延迟敏感型应用而言，将无法容忍如此高的延迟，并将导致无法使用。在哪里压缩我的应用流量？压缩的优势显而易见，而作为一项重要影响因素，压缩应用流量的位置好坏，将决定压缩技术能否获得良好的效果，以及应用交付整体时间能否缩短。压缩 web 应用流量主要有两种方式： 在服务器中压缩这是一种普遍采用的方法，它是指在所有的应用流量离开服务器前对其进行压缩。静态和动态内容均可通过服务器进行压缩。一些常用的 web 服务器，如微软 IIS 服务器以及 Apache 服务器，均支持服务器端压缩。这种压缩方式有效适用于数量较少的应用，但当应用数量增多，应用对象体积增大时，这种方式不太理想。同时，利用服务器压缩方式，改变或添加压缩参数需要在多个服务器间进行，这不仅会增加操作难度，还会增加管理开销。压缩是一项真正的处理器密集型功能。在服务器端压缩应用流量延长了应用响应的时间，并将消耗极为重要的 CPU 时钟周期。除此以外，诸如 SSL 加密技术、客户机认证、安全技术等其它应用交付组件，均是在服务器端运行，这将进一步增加 CPU 的开销。由于服务器成为提高性能的瓶颈因素，压缩的优势便无法充分体现，应用交付时间亦不能有明显的改进。Client 1客户机 1Client 2客户机 2Internet互联网Compression on Server在服务器中压缩Server Farm服务器群图1：在服务器中压缩 在流量管理设备上压缩压缩的另一种新的方式是将压缩卸载至服务器前端的某一应用流量管理设备中。通过这种方式，该设备便代表 web 服务器对应用流量进行压缩，并将服务器端压缩所造成的 CPU 瓶颈缷载。这种方式能够帮助企业获取全部压缩优势，因此日益受到企业的青睐。部署这种压缩有两种方式： 对称式压缩：这种方式是将压缩功能卸载至 web 服务器之前的某台部署设备上，同时，客户端还应部署另一台设备或软件组件。这种完整的专有方法适用于办事处部署，但不适用于在互联网中有数百万客户访问的 web 应用。部署和管理这类解决方案相当烦琐，因为从服务器上将某个软件下载或扩展至客户机的操作可能会伴有入侵操作，将导致安全问题。 非对称式压缩：这种方法是指将压缩功能卸载至 web 服务器之前的某个流量管理设备上。解压缩由客户端浏览器来执行。这种方法充分利用全部标准浏览器现有解压缩能力，无需要客户端采取任何操作。同时，由于此刻该设备充当中间人角色，由设备负责客户端浏览器和服务器之间的翻译工作，因此消除了大多数浏览器的兼容性问题。这种方法逐渐得到了广泛认可。企业利用这项技术能够节省服务器宝贵的 CPU 周期，使得无需改变客户端基础设施、无需下载具有入侵威胁的软件，便能充分获得全部压缩优势。同时，这种方法还能帮助企业集中管理所有与压缩有关的配置，减少了因管理多个服务器所造成的额外开销。Dial-up Client拨号用户Internet互联网Broadband Client宽带用户Compression on BIG-IP在 BIG-IP 中压缩BIG-IPBIG-IPServers服务器图2：在 BIG-IP 中压缩解决方案F5 公司的 BIG-IP 系统可缩短应用交付时间并优化带宽F5 公司推出的 BIG-IP 应用流量管理系统提供业内最具扩展性，最智能也最灵活的压缩解决方案。BIG-IP 系统通过从服务器中不对称卸载 HTTP 压缩，降低了服务器开销，并通过实现服务器整合，将服务器总体拥有成本降低了高达 65%。BIG-IP 系统充分利用现有浏览器解压缩能力，无需对客户机进行任何修改，亦无需下载任何可能带来入侵威胁的软件。BIG-IP 智能压缩采用已申请专利的方法来测量客户连接延迟，这使带宽使用率降低了 60-80%，同时将用户响应时间提高了两倍以上。BIG-IP 是业内首款为企业提供的可扩展式压缩解决方案，具有通过优化硬件及其自适应压缩卸载 (Adaptive Compression Offload) 压缩 web 流量的可选功能。什么是智能压缩？BIG-IP 系统的智能压缩功能为企业提供了一种针对目标用户进行压缩的方式。压缩流量不一定要以带宽利用率的降低为代价。真正的挑战在于把握如何最有效的定位，从而使用户获得最大优势。例如，由于拨号用户延迟较高，所以，对其进行压缩可使这部分用户获得最大优势。而由于宽带用户的接收窗口尺寸较大，因此，他们因此获得的优势则微乎其微，这是因为，宽带用户现在需要等待更长的时间来接收数据，这将导致响应时间变慢，因此，压缩的优势被抵消。BIG-IP 采用已申请专利的技术来动态检测客户连接延迟。BIG-IP 系统能够监控 TCP RTT （往返时间），以动态计算用户延迟，从而使 BIG-IP 能更专注于将流量压缩并传送给最需要它们的用户。可调式压缩引擎BIG-IP 还提供微调压缩参数的功能，可帮助企业获取最大压缩优势。企业可将最重要的系统资源作为压缩对象，以获得更高的投资回报，并在压缩被激活时更好的对其进行控制。可配置如下压缩参数： 压缩的最小 content-length （内容长度）该参数规定了压缩允许的服务器响应（以字节计）最小长度。 可调式压缩该参数规范可调整期望的压缩比率、CPU 及内存的利用率。F5 的自适应压缩卸载 (Adaptive Compression Offload) 功能使企业能够对压缩进行“调节”。通过释放宝贵的系统资源，节省大量带宽。当系统 CPU 达到某一阈值以后，BIG-IP 将 HTTP 压缩从系统处理器中自适应卸载至优化硬件中，从而达到无可比拟的压缩吞吐率级别（高达 2 Gbps），并降低达 80% 的系统处理器开销。基于第 7 层策略的精细压缩BIG-IP 系统提供业内最精细的解决方案，能对压缩流量的方式和类型进行控制，可提供了更优的性能及更高的投资回报。企业通过虚拟服务器、源 IP、目标 IP、文件类型或协议，或基于任何第 7 层 (Layer 7) 的变量，可对压缩进行配置。通过充分利用 BIG-IP 系统独特的 iRules 功能，客户可选择精细 第 7 层检验标准，从而企业能够针对个人 HTTP 请求/反应开启或关闭压缩功能。内容过滤器及异常处理BIG-IP 还为企业提供预定义过滤器功能，企业可用其来定位内容类型并进行异常处理。如需对服务器响应进行压缩，用户可定义“包括”和“排除”列表，以更好的定位压缩，或快速处理异常。该预定义过滤能力包括： URI （由客户发出请求）该部分内容是一个常规表达式列表，用于匹配客户机请求命令行中的 Request-URI 部分内容。例如，如果希望包含以“.txt”、“.htm”和“.html”结尾的请求，则需在 URI 包含字段中使用如下表达式：“.*.txt”、“*.htm”、“.*.html”。 Content Type （内容类型）（由服务器响应）该部分内容是代表 MIME 类型的一个常规表达式列表。此时，应再次检查常规表达式是否与服务器“Content-Type:”标头的值相对应。例如，如需禁用 PDF 及所有图像文件压缩，则须在内容类型排除字段中使用如下表达式：“application/pdf”、“image/.*”。如需包含所有文本类型，则应在内容类型包含字段中使用“text/.*”。如需包含所有非 CSS（层叠样式表）文本类型，则应在内容类型包含字段中使用“text/(?!css$)*”。压缩性能可见BIG-IP 设备具有为企业监控压缩的能力，以及向企业展示关键效果的丰富统计功能。这些统计功能能够协助企业根据被压缩的对象类型来调整压缩策略、测量压缩效果，并显示所节省的带宽数。这些统计包括： 压缩前对象的体积 压缩后对象的体积 被压缩对象的类型Content type compression内容类型压缩Pre-compress压缩前Post-compress压缩后HTMLHTMLCSSCSSJSJSXMLXMLSGMLSGMLPlain纯文本 (Plain)Image图像Video视频Other其它Total总计图 3：BIG-IP 压缩统计投资回报实例压缩投资回报对成本的影响非常易于计算。我们假定某企业具备如下带宽定价体系：Connectivity连接Recurring Cost/Month经常性成本/月Bandwidth带宽Frame Relay-Tier 1帧中继第一层Frame Relay-Tier 2帧中继第二层Total总计图 4：带宽定价体系实例假定该企业正值流量高峰、第二层带宽使用率达到 2.5 Mbps、每月费用为 3500 美元。如该企业能够将带宽使用率降至低于 2 Mbps，企业每月便不会被克以带宽超限费用罚款。压缩就能协助企业实现这一目标。为了满足客户的需求，BIG-IP 可提供配有不同带宽比率（5 Mbps、100Mbps、500 Mbps 和 1000Mbps）的多种压缩模块。在本案例中，部署 BIG-IP 压缩解决方案产生的投资回报如下所示：Bandwidth Costs Before Compression压缩前带宽成本Reduction in Bandwidth (assuming 2:1)带宽流量减少（设为 2:1）Bandwidth Costs with Compression (assuming 50%,1.25Mbps)压缩带宽成本（假定为 50%，1.25Mbps）Monthly Savings每月节省BIG-IP 5 Mbps Compression ModuleBIG-IP 5 Mbps 压缩模块Time to Return on Investment投资回报时间Less than 2 months不到 2 个月图 5：采用 BIG-IP 设备进行压缩所产生的投资回报结果结论BIG-IP 设备的智能压缩特性采用市场领先的方法，可实现带宽的优化，并加速应用从服务器到最终用户的交付。随着应用性能挑战的日益增多（带宽瓶颈、延迟、超时以及停机），收入减少以及客户不满的情况也逐渐增加，解决这些问题已成当务之急。BIG-IP 压缩解决方案能够帮助企业解决其应用性能问题，它具有如下优势： BIG-IP 系