软件测试13部署测试环境.ppt

1、软件测试方法和技术 - Ch.13 部署测试环境,1,笑话,有一个软件测试员在找bug方面有非凡的天赋。在公司服务很多年以后，他很高兴的退休了。几年以后，公司因为在一个几百万英镑的应用程序中有一个表面看上去不可能的问题而联系他。公司尝试过了所有的办法和动用了所有的人去发现这个问题，但是故障还是一而再再而三的发生。 在快要绝望的时候，他们想起了这个过去曾经解决很多这样问题的退休软件测试员。软件测试员不情愿的接受了这个挑战。他花了一天的时间研究应用程序，最后他写下了准确的重现问题的步骤而且说： “这就是你们的问题所在”。 Bug被修复了。公司也收到了一张来自软件测试员的要价$50,000的支票。他

2、们要求关于收费的详细清单。软件测试员简要的回复：一个bug report 收费$1。知道要提交些什么收费49,999。,2,第十三章 部署测试环境,3,13.1 测试环境的重要性 13.2 测试环境要素 13.3 虚拟机的应用 13.4 建立测试实验室 13.5 如何建立项目的测试环境 13.6 自动部署测试环境 13.7 测试环境的维护和管理,13.1 测试环境的重要性,4,测试环境是测试的基础 影响测试结果的真实性和正确性,测试环境与开发环境分离的必要性,1、搭建独立的软件测试环境有利于重现开发环境无法重现的BUG。 某个软件系统由模块A、B、C组成（对应开发人员A、B、 C）。起初开发人

3、员比较偷懒，不想重新搭建独立的测试环境（特别是搭建过程比较复杂的情况下），而是让测试人员连到他们各自的开发机器上分别测试他们各自负责的模块。各自的模块功能很正常，但一旦整合作为一个系统向用户提供功能时，就不一定正常了，有可能在模块A录入的数据在模块B查询不到，或是模块间的接口有问题等。除此以外，还可能有其他因素妨碍开发环境重现BUG。 总之，搭建一个与典型用户环境配置一致的测试环境是有效测试的重要前提。,5,测试环境与开发环境分离的必要性-续,2、搭建独立的测试环境便于开发人员并行地修复BUG。 如果对开发环境进行测试，开发人员要修复BUG必须先重现BUG，然后修改相关代码，并进行程序调试。而

4、在测试人员还未测试完系统前，开发人员是不能对程序进行修改、更新。只有等测试人员测试完后才能进行BUG修复（现实中也有这样的情况：测试员还未测试完开发人员就更新修复部份BUG的程序。这种做法比较危险，开发人员若修复得不好可能会导致程序无法运行，势必影响测试进度）。 串行的工作方式也很耗费时间，甚至影响进度。 正确的做法应该搭建独立的测试环境，测试人员提出BUG后开发人员在开发机上重现并修复，并验证修复后的效果，两种环境互不干扰。,6,测试环境与开发环境分离的必要性-续,3、搭建独立的测试环境可以验证安装软件的全过程。 即进行安装测试，用以检查安装文件是否有错漏，软件在指定的操作系统下能否正常安装

5、，各种配置项是否有错漏等。,7,测试环境与开发环境分离的必要性-续,4、搭建独立的测试环境可以避免环境被破坏导致测试无法进行的意外。 如果选择开发环境来进行测试，开发人员进行某项误操作后发生系统崩溃或者系统不能正常运行的意外，此时测试工作也不得不停止。,8,测试环境的定义,测试环境test environment：指测试运行其上的软件和硬件环境的描述，以及任何其它与被测软件交互的软件，包括驱动和桩。 设计环境 ： 编制测试计划/说明/报告及与测试有关的文件所基于的软件/硬件设备和支持。 实施环境：对软件系统进行各级测试所基于的软件/硬件设备和支持。 管理环境 ：管理测试资源所基于的软件/硬件设

6、备和支持。,9,测试环境重要性及意义,稳定和可控的测试环境，可以使测试人员花费较少的时间就完成测试用例的执行，也无需为测试用例、测试过程的维护花费额外的时间； 可以保证每一个被提交的缺陷都可以在任何时候被准确的重现； 经过良好规划和管理的测试环境，可以尽可能的减少环境的变动对测试工作的不利影响，并可以对测试工作的效率和质量的提高产生积极的作用。,10,错误的测试环境,得出完全错误，甚至是相反的结果 得出的结果与实际使用中的结果有很大误差 忽略了实际使用可能出现的严重错误，将严重的BUG遗留到客户的手中 导致项目延期，信誉的丧失 导致项目返工，造成巨大的资源浪费,11,产品的使用环境,用户特征：

7、知识背景、技能、经验、学历、年龄、体力等 使用产品的目标：产品的主要用途以及工作时间的长短、强度等。 社会物理环境：如计算环境、温湿度环境、法律环境、社会文化习惯环境等,12,主测试环境与辅测试环境,13,软件测试环境分为主测试环境和辅测试环境。 主测试环境：测试软件功能、安全可靠性、性能、易用性等大多数指标的主要环境 。 辅助测试环境：满足特殊的测试需求。 兼容性测试 模拟真实环境测试 横向对比测试,13.2 测试环境要素,14,13.2.1 硬件 13.2.2 网络环境 13.2.3 软件 13.2.4 数据准备,测试环境的五要素,15,测试环境的基本要素是：软件、硬件。 在基本要素的基础

8、上派生出 网络环境、数据准备、测试工具三要素。,硬件 软件 数据准备 网络环境 测试工具,机架式服务器 刀片式服务器 客户端机器 移动设备 声卡、显示卡、麦克风,标准配置 最低配置 推荐配置,测试环境的五要素硬件,测试环境的五要素硬件,测试Audio、Video等多媒体产品：摄像头、麦克风、音箱等 测试产品的USB接口，并行、串行和红外接口的功能:移动硬盘、打印机、扫描仪等设备； 测试基于手机、数码相机的二次开发的软件：手机、数码相机等； 测试网络产品：交换机、路由器等网络设备； 测试基丁HTTPS的产品安全性：SSL-BOX。 为保证测试工作的正常运行，有时还得配备UPS(不间断电源)、稳压

9、电源等附属设备。硬件设备多种多样，完全根据产品的需求进行选择。,17,标准配置、最佳配置和最低配置,通常一个较完善的测试环境均包括标准配置、最佳配置和最低配置的设备，只是根据项目的需求和条件的限制所占的比例不同。 如压力测试、性能测试、容量测试必须保证在标准配置及最佳配置的设备上运行，而功能性测试、用户界面测试等完全可以在低配置的机器上运行。,18,测试环境的五要素软件,软件环境包括操作系统和应用程序。 测试工具软件也是软件环境派生出来的一部分。 建立软件测试环境的原则是选择具有广泛代表性的重要操作系统和大量应用程序。,19,常见的操作系统,Windows系列：DOS、Windows 98、W

10、indows NT、Windows 2000、Windows XP、 Windows vista、 Windows 7 。 UNIX系列：Solaris 2 6、Solaris 2 8、Red Hat 8. 0。 Mac系列：OS X。 嵌入式操作系统：Vx Works、pSOS、QNX、Nucleus Plus、CMX、Windows cE、 Delta0S。,20,常见的数据库管理系统,Oracle 8i、Oracle 9i PC平台、Sun平台 Sybase PC平台 MS SQL Server 2000 PC平台,21,常见的应用程序,Microsoft Office Foxmail

11、Realplay,22,测试环境的五要素数据准备,测试的数据源非常重要，应尽可能地取得大量真实数据。无法取得真实数据时尽可能模拟出大量数据。数据准备包括数据量和真实性两个方面。 数据的真实性通常表现为正确数据和错误数据，在容错测试中对错误数据的处理和系统恢复是测试的关键。,23,100M、1G、10G网 局域网、广域网、无线网 网络协议 防火墙、代理服务器或网关,测试环境的五要素网络环境,测试环境的五要素网络环境,随着网络的普及，越来越多的软件产品离不开网络环境，网络环境是硬件因素和软件因素的综合。 硬件：路由器、交换机、网线、网卡 软件：代理、网关、协议、防火墙。 正确的网络环境离不开人的因

12、素，搭建、维护、调整网络环境以适应测试的需要。 人为的造成网络环境的错误，也将导致测试任务的失败。负责网络环境的测试人员应具备网络管理员的基本素质。,25,测试环境的五要素工具,折中需求和实际条件来选择已有的测试工具；有重点地自行开发测试辅助工具。 有时软件必须依托工具，以便测试过程的自动半自动执行和测试结果的自动半自动评审和报告。 测试工具：代码分析工具、自动/半自动测试过程管理工具和测试资源管理工具。,26,13.3 虚拟机的应用,13.3.1 虚拟机软件 13.3.2 VMware的虚拟机解决方案 13.3.3 辅助工具,为什么使用虚拟机,充分利用硬件资源，有70的服务器利用率只有203

13、0 借助虚拟机技术提高到8595 节约能源和空间。例如如果内存加大到16G或更高，一台机器可以虚拟48台服务器 提升运作效率，几分钟就可装载所需的系统镜像文件 有利于环境的建立和维护，容易实现添加、移动、变更和重置服务器的操作,13.3.1 虚拟机软件,VMware的产品 GSX/ESX， WS 微软公司的Virtual Server/PC Sun xVM VirtualBox Parallels Workstation SW-soft公司的Virtuozzo 开源软件QEMU、Xen Cygwin，GnuWin32 ，WinLinux Colinux,微软公司 Virtual Server,

14、13.3.2 VMware的虚拟机解决方案,VMware-ESX-Server （企业级，No OS） VMware-GSX-Server (工作组级) VMware-workstation （客户端）,VMWare 其它组件,VMWare Server Console VMware VirtualCenter for VMware Server VMware Open Source Components Microsoft Sysprep Tools SCSI Disk Drivers,13.3.3 辅助工具,Akorri公司的BalancePoint工具： VM Performance I

15、ndex, Virtual Host Resource Contention, Virtual Resource EntITlement Analysis, VM CPU Efficiency Vizioncore公司的产品，包括vControl、vConverte、vFoglight、vOptimizer、vRanger、vCharter、vReplicator、vEssentials solution bundles等,13.4 建立测试实验室,13.4.1 实验室建立的评估分析 13.4.2 选择和规划实验室 13.4.3 集成和配置测试设备,13.3.1 实验室建立的评估分析,是否需要

16、长期使用测试设备？ 是否需要体积庞大的测试工具 ？ 是否需要特殊的环境 ？ 是否存在安全性问题呢 ？,13.3.2 选择和规划实验室,一旦确定有建立测试实验室的必要，就需要为实验室选择场所并规划它的配置。应当考虑各种因素，例如空间尺寸、照明、布局、功能区、温度、湿度、放火和安全、电源、静电、设施等等，尽可能描绘出实验室的量化层平面图进行规划、不断地完善调整规划。,Example,总体的规划,Example,逻辑的环境,Example,物理的环境,13.3.3 集成和配置测试设备,要理出一个设备清单，然后进行预算评估，接着采购设备，最后是集成安装。,例如，对软件： 操作系统：Windows, M

17、ac X, Linux, 应用程序：使用大量的应用软件来做兼容性测试。 测试工具和实用工具：用于测试软件和诊断问题 第三方软件：需要集成的第三方软件,一个标准的清单模板软件,操作系统：Windows, Mac X, Linux, 应用程序：使用大量的应用软件来做兼容性测试。 测试工具和实用工具：用于测试软件和诊断问题 第三方软件：需要集成的第三方软件,41,一个标准的清单模板硬件,计算机、服务器：详细到具体配置。 输入、输出设备：监视器、打印机、扫描仪等，详细到具体型号或性能指标。 数据备份、存储设备：外接硬盘、光盘刻录机等。,42,一个标准的清单模板网络设备,为了避免在公司的网络上进行测试，

18、需要在测试实验室建立一个独立的网络环境。 集线器和变换机价格相对较便宜，但是应该保证能够得到可靠的带宽。 电缆这样相对较小的物件花费却相对较高，很容易忽略它的重要性，由于电缆引起的故障却相当难以判断而且耗费大量的时间。,43,一个标准的清单模板电源及特殊的工具,浪涌电压保护器、不间断电源、示波器，工具箱等。,44,一个标准的清单模板其他,办公用品、耗材和易损备件等。 笔记本、纸张、笔、胶带、墨盒等看似很小的东西往往给测试人员带来很大的麻烦，例如为寻找打印纸浪费时间会破坏了工作时的良好心情。,45,集成和配置测试设备,通常做法是能由测试人员完成的尽可能由测试人员自己完成，只有测试人员最清楚具体的

19、配置方法和要求。 测试人员无法独立完成的需要监督、指导专业人员完成。例如网络布线，是明线还是暗线，信息点具体位置等，如果测试中需要调整网络结构，应采取测试人员更容易接受的方案。,46,中国航天工程咨询中心软件测评实验室,实验室拥有并熟练掌握如下测试工具：WINRUNNER、LOADRUNNER、LDRA TESTBED和测试辅助管理工具等，覆盖了桌面软件测试、网络软件测试、嵌入式软件测试以及测试管理等多个方面。 测试实验设备、网络等已具备一定的规模。拥有多套静态分析工具、动态分析工具、实物/半实物仿真测试环境、故障模式模拟测试和测试工程管理工具，涵盖了多种型号软件测试技术研究与综合实验的基本环

20、境，主要包括80C86系列、80386EX系列、Motorola系列、ERC32(SPARCv 7)、ADSP系列和CAN总线等，并将随项目需要不断扩充完善。,47,中国科学技术大学软件学院软件测试实验室,软件测试实验室面积约为112平米，共有机位56个，配有IBM Rational系列测试工具，包括IBM Rational Functional Tester、IBM Rational Manual Tester、IBM Rational Performance Tester、IBM Rational PurifyPlus、IBM Rational Robot。,48,另外还有一些免费(开源)

21、的测试软件，如XUnit、微软的Web Application Stress等，该实验室为软件测试实践提供实验环境，涵盖测试管理及软件测试中的单元测试、集成测试和系统测试等阶段。实验内容包括软件测试的组织与实施、测试工具的使用、测试用例的设计等，通过对应用软件、网络软件等进行测试，可培养学生的软件测试能力和提高测试用例的设计水平。,中国软件评测中心(CSTC),成立于1990年，是信息产业部和国家质检总局领导下的国家级计算机软件产品质量检测机构。是通过中国实验室国家认可委员会认可和计量认证的软件产品评测和认证机构。 作为权威的第三方软件产品评测机构，中国软件评测中心面向社会各界提供全方位的软件

22、产品测试服务，服务的类型包括软件产品确认测试、信息系统工程验收测试、软件产品鉴定测试等。中国软件评测中心测试的根本目的是提高软件质量，并对优秀的软件产品和信息系统工程项目进行认证，向社会推荐优秀的软件产品及相关工程项目。 中国软件评测中心的内部质量管理严格遵循国际ISO/IEC 17025制定，在测试方案、测试规范的制定，以及测试实施过程中均依照内部质量保证体系和CSTC企业标准进行。通过严谨的质量管理与过程控制，有效的确保了测试过程和结果的科学性和公正性。,49,中国软件评测中心深圳分中心,该中心具有强大的软件测试能力，可以完成各种类型软件的黑盒与白盒测试，例如操作系统、大型数据库软件、财务

23、软件、OA办公软件、电子商务软件、网络管理软件、计算机辅助设计软件、中间件软件、网络安全与反病毒软件、多媒体软件、教育软件、远程控制软件、邮件服务器软件、Internet/Intranet应用软件、MIS管理软件、工业控制软件和各种行业应用软件等。 完善的硬件环境 拥有近千平米的测试实验室、数十台多种架构的服务器、百余台PC客户端、多种类型的网络连接设备 优良的软件环境 操作系统：各种UNIX、OS/2、NetWare、各版本Linux、FreeBSD、Windows系列 数据库： Orcale、Sybase、DB/2、Informix、SQL Server 中心拥有QARun、QALoad、

24、CodeTest、Smartbits、Avalanche、ClearSight、ThreatEx、Reflector、Segue、等测试工具以及各种流行的软件开发工具。,50,13.5 如何建立项目的测试环境,事先要清楚项目的要求，如软件构架文档、部署模型、测试自动化架构、测试数据的要求和测试策略和测试方法 规划测试环境 列出设备清单 环境实施：如安装虚拟机系统、操作系统、网络配置、安装应用系统、配置并调试应用软件,13.6 自动部署测试环境,自动部署测试环境-实例,STAX脚本示例可以参考书P.304P.305,13.7测试环境的维护和管理,54,实验室设备分为消耗性和耐久性两种。 消耗性物品的：保障供给，杜绝浪费。 耐久性物品需要严格的管理，主要表现在使用标签，进行登记、跟踪，调度使用。 测试环境的维护不仅仅是管理员的职责，也是每个测试人员的职责。 维护的概念不仅包括硬件设备的保养维修，更重要的是维护测试环境的正确性，何时需要更新操作系统，何时需要软件版本升级，何时需要调整网络结构，只有测试人员真正了解需求，环境的正确与否直接影响测试结果。,测试环境访问权限的管理,应当为每个访问测试环境