自动化测试新一代解决方案

摘要　介绍了IP网络业界最新的网络自动化测试方法和测试平台，包括引发这些新技术的原因，对这些自动化的测试方法和测试平台的应用。

1  引言

网络设备生产商(NEM)，网络服务供应商(NSP)在对网络设备和网络架构不断推陈出新的同时，也需要对网络设备和整网运行的功能/性能做出比以往任何时候更为严格和全面的测试，伴随着多项新业务的提出，各种人们每日所需的传统媒体服务也通过网络进入寻常百姓家，每一种新的业务背后都伴随着多种协议的共存和衍生，随之而来的是海量的新的业务测试点的提出和验证，传统的测试方法已经无法满足指数级增长的实验室和现网测试需求，更多的有识之士将眼光转移到自动化测试上来。

自动化测试不仅可以提高测试效率，加强各个团队之间的分工合作，还可以根据用户的不同需求进行测试的定制，从而摆脱传统测试的"测试工具的测试例"的限制，它不仅可以降低测试的劳动强度，而且从投资回报率来看，它确实是保护投资的王者之选。

本文将以网络测试面临的挑战为题展开讨论，详述美国IXIA公司提出的最新解决方案和相关理论，同时将介绍一项新的产品及其相关特性。

2  网络测试面临新的挑战

2.1  挑战1：测试和投资的关系

网络设备和各种Internet服务器已经从单一功能的设备发展为多功能和智能型的设备。路由器，交换机，防火墙以及Web Server经常需要处理三重播放(语音、视频和数据)的流量和各种服务。网络设备制造商(NEM)，服务提供商和企业用户要求进行更多和更复杂的测试来保证产品的质量和系统的性能。从全球IT测试业界发展趋势来看，使用手动测试难以保证在时间和开支上满足投资者和管理者的需求。

产品投放市场的时间压力意味着要在丢失市场份额和在没有经过严格测试就将产品快速投放市场之间做一个艰难地选择。不充分的测试导致的结果一定是产品质量和服务质量的低下，随之而来的也就是增加了后期支持和服务的成本。当产品进入消费领域，如个人用户，家庭，SOHO用户，这些客户不再是有着丰富经验的网络IT工程师，他们无法对产品的问题进行定位和修理。没有经验的消费者经常可能会需要数个小时的现场或电话支持才能解决问题，而这些工作的开销使产品的销售利润大打折扣。

产品质量的低下不仅损害了一个品牌的形象，而且也一定会付出更大的代价。根据Newsweek发布的报告，Microsoft?为了抢占市场，在领先竞争对手一年的时间内推出了他们的Xbox 360游戏终端，导致的直接后果就是有一些游戏终端出现质量问题。Microsoft发言人称他们将会再投入10.5~11.5亿美金来修复这些问题和挽回因为这些问题而产生的负面效应。

很多用户尽量压缩测试的直接原因是质量保证部门(QA)的测试流程过长，耽误了产品投放市场的时机，失去了一些机会，而在IT产品测试领域的产品生命期中必须经过开发测试阶段、整合测试阶段、部署测试阶段，在每个阶段，应该尽量多测试一些软件的版本。

从图1可以看到，开支随着找到问题和修正问题的时间增长而呈指数增长的趋势，也就是越早进行严格的测试越能保证投资。

图1  找到和修正问题的开销与时间的关系示意图

2.2  挑战2：测试的效率

对于一个IT类的产品只有几个简单的要求：可快速投放市场、高质量、最低开销、互通性好。

自动化测试是一个可以保证以上产品特性的关键因素，当自动化测试很好地被部署和坚持，更多的测试结果以自动化的形式表现出来，用户就会有更多的时间和资源覆盖更多的测试点，保证产品质量。

使用自动化测试，用户可以覆盖比手动测试更多的测试项目，如测试路由器时，可以同时测试各种不同服务的组合，或者在路由器承受不同流量的压力同时进行功能测试。使用自动化测试，可以很方便地进行完整的回归测试。如果使用自动化的回归测试，可以在尽可能早的阶段发现和修正问题。如图1所示，可以在曲线坡度较为平缓处就发现/修正所有问题，节省了大量开支。

自动化测试从提升效率的角度来看，一定可以节省投资、增加利润。NEM可以使用自动化测试来进行：

（1）在开发阶段进行自动化回归测试，保证每个软件版本的质量，尽可能在开发阶段消除所有错误根源。
（2）在整合测试阶段，使用混合测试的方式对多个供应商的设备平台和软件进行测试。
（3）使用自动化的回归测试对整合后的系统进行测试，保证设备和系统的性能和质量。
（4）使用回归测试保证各种补丁和升级程序不会影响操作或者性能。
（5）跟踪和分析长期的回归测试结果以保证系统运行在0错误和最佳性能状态。

服务提供商和企业可以使用自动化来进行：

（1）为初期的系统部署和后期的升级测试进行自动化系统验证测试。
（2）保证各种升级和补丁程序不会影响到日常的运维和系统性能测试。
（3）保证当前的系统和计划升级系统的新部件之间的互通性测试。
（4）运行每日的定时检测测试保证网络性能，文件系统或者黑客行为不会影响到日常的运维。
（5）回归测试已经包含了大量的真实测试场景，可帮助缩短测试人员设计复杂和真实网络时间的方案时间，快速部署自动化测试。

2.3  挑战3：自动化测试工具需求

在图2中描述了开发一个自动化测试的典型工作流程，它包括几个必要的步骤：建立DUT或者SUT，建立测试床，编写测试应用程序或测试脚本，运行测试和分析结果。一个测试步骤定义完整的测试才能被转化为自动化测试。

图2  单一的自动化测试流程图

图2中的流程被每个单元测试反复使用，多个这样的测试就组成了自动化测试库，自动化测试库还包括DUT/SUT配置和监测脚本，测试床建立，各种测试脚本，回归测试套件。
如图3所示，这些测试项目通常被QA测试组用来做产品测试以及被自动化测试组用来做整体自动化测试，每个单独的测试经常被修改以增强它在更多领域的可用性。同样的测试流程在产品的生命周期中被多次重复应用（见图4）。

图3  自动化测试流程示意图

图4  自动化测试伴随产品的生命周期

随着这种自动化测试的功能扩展，自动化测试工具必须非常直观和易于使用，不需要经过长时间的培训或者编程经验也可以进行测试。

3  IXIA的新一代解决方案

3.1  IXIA提供了各种级别的自动化解决方案

（1）一个完整的自动化测试平台，可在多用户环境中运行IXIA所有的测试应用程序。
（2）各种功能强大的交互式测试应用程序，包括各种测试脚本例程可以快速生成各种测试脚本的工具。
（3）基于Tcl编程语言的各种API接口库，用户可以基于各种测试工具的API编写自己的测试脚本。
（4）Test Conductor是一个完整的自动化测试和管理平台，它是一个综合的IXIA和第三方测试应用程序和设备管理平台。

来源：电信网技术