对PUSHEMAIL业务平台性能的测试

　　随着中国移动数据业务的推广，使用移动数据业务的用户日渐增多。针对集团用户利用移动终端接收和发送邮件的PUSHEMAIL业务也已进入试商用阶段。目前，对于PUSHEMAIL的业务平台功能测试，只能以人工方式直接利用移动终端完成。而对于检验PUSHEMAIL业务平台的性能没有系统和完善的测试方法。

　　本文主要针对目前PUSHEMAIL平台性能测试方法问题，从测试环境、测试预配置、测试工具、测试步骤、测试统计指标等方面，总结出较完善的测试方法来综合评估PUSHEMAIL业务平台的性能，从而保障PUSHEMAIL业务在现网运行的稳定性。

　　一、PUSHEMAIL业务流程及业务平台功能

　　PUSHEMAIL业务是目前中国移动重要的数据业务，主要面向集团用户。在用户开通PUSHEMAIL业务后，一旦用户的邮件系统有新邮件到达，用户移动终端上的“PUSHEMAIL业务客户端软件”立即建立与邮件服务器的安全连接，下载邮件并通知手机用户阅读邮件。同时，用户也可以使用移动终端回复、转发和发送邮件。邮箱和手机终端设备之间采用通过SSL协议的端到端加密形式。

　　1．PUSHEMAIL业务流程

　　PUSHEMAIL业务基于企业邮件的功能，并结合移动数据业务特点为用户提供利用移动终端接收邮件、提取附件、发送邮件、转发邮件四种业务流程的功能服务。只要用户开通PUSHEMAIL业务，即可同时使用以上四种业务流程的功能服务。

　　接收邮件流程

　　接收邮件流程是当用户的企业邮件系统中有新邮件的时候，通过PUSHEMAIL业务系统直接推送到用户移动终端上的过程。

　　提取附件流程

　　提取附件流程是当用户的移动终端已经接收到新邮件后，通过移动终端发送对提取附件的指令，附件被提取到移动终端的过程。

　　转发邮件流程

　　转发邮件流程是当用户的移动终端收到新邮件后，在移动终端上转发给其他接收邮件者的过程。

　　发送邮件流程

　　发送邮件流程是用户通过移动终端编辑发送邮件给其他接收邮件者的过程。

　　2．PUSHEMAIL业务平台

　　PUSHEMAIL业务系统由三个部分组成：邮件代理网关、邮件PUSH网关和邮件客户端。其中邮件代理网关和邮件PUSH网关（图1虚框所示）分别部署在提供PUSHEMAIL业务的企业防火墙和运营商防火墙的内部，邮件客户端是安装在用户的移动终端上。


图1PUSHEMAIL系统网络结构图

　　邮件代理网关

　　邮件代理网关安装在企业的防火墙之后，并与企业的邮件服务器通过POP3/IMAP4协议相连接，负责企业邮件系统与邮件PUSH网关的通信、协议转换等工作。同时，邮件代理网关也负责建立与手机终端之间的HTTP/SSL通道，并且转发手机终端向企业邮件系统发出的接收邮件和发送请求。

　　邮件PUSH网关

　　邮件PUSH网关是中国移动为开展PUSHEMAIL业务新增的网元设备，该网元保存和管理企业邮件系统的注册信息，同时负责向用户终端发送邮件到达通知，中介完成手机终端与邮件代理网关的通信。

　　邮件客户端

　　邮件客户端是嵌入到移动终端中的PUSHEMAIL业务客户端软件，主要实现邮件的收发、提取附件等业务功能。

　　二、性能测试方法

　　测试方法简而言之就是测试步骤，同时以测试步骤为核心内容来考虑测试环境、测试数据配置、测试工具、指标统计。这就形成了核心是测试步骤，周边环绕着测试环境、数据配置等部分的一整套测试方法。

　　在PUSHEMAIL业务平台的性能测试中，测试内容包括单项流程测试和混合流程测试两大方面。其中单项测试流程通过对PUSHEMAIL业务中所涉及到的接收邮件、发送邮件、提取附件、转发邮件四个业务流程分别测试来检验业务平台对各个流程的处理性能；混合流程测试是将以上四个流程混合，模拟现网的用户实际行为来综合检验业务平台的性能。

　　1．测试环境

　　目前中国移动的PUSHEMAIL业务的组网方式采用集中式建设，即在全国建立一套统一的PUSH网关，下面连接不同省市的不同企业的邮件代理网关（参见图2）。


图2PUSHEMAIL系统建设组网结构

　　根据现网集中式的组网方式，性能测试不可能对一个PUSH网关和下面所有的邮件代理网关进行统一的性能测试。可以通过最简单的组网方式，即一个PUSH网关和一个邮件代理网关（参见图3）测试单个邮件代理网关的性能。由于邮件代理网关直接面向集团用户，通过对单个邮件代理网关的测试检验系统性能可满足用户的实际需求。在性能测试过程中，用测试工具分别模拟用户移动终端和企业邮件系统，实现PUSHEMAIL业务的接收邮件、发送邮件、提取附件、转发邮件的业务流程。

　　2．测试检验重点

　　从PUSHEMAIL用户体验情况和业务平台性能角度考虑，邮件业务平台处理邮件的性能、最大在线用户数、邮件处理的成功率是直接影响用户应用此业务的关键性指标。故对PUSHEMAIL业务平台性能测试检验重点应侧重于上述三个方面。

　　3．测试预配置

　　为了在PUSHEMAIL业务平台性能测试中尽量模拟现网业务的运行环境，需要在测试前对被测平台作测试的预配置。配置的内容主要包括邮件大小配置和用户配置，具体的数值确定需要根据现网具体的流量模型而确定。

　　邮件大小配置

　　邮件包含邮件正文和邮件附件两部分。对于邮件的配置包括对邮件正文大小配置和邮件附件的大小配置。

　　系统用户数量的配置

　　系统用户数需要根据PUSHEMAIL业务中的邮件代理网关将要服务多少集团用户的实际数量配置。

　　4．测试工具

　　性能测试工具的选择对测试结果正确性及准确性起着决定性的作用。测试工具在PUSHEMAIL业务平台性能测试中，需要根据不同的业务流程来分别模拟用户的客户端和企业邮件系统。

　　在单项流程测试中的接收邮件流程、提取附件流程、转发邮件流程中，需要测试工具既模拟企业邮件系统又模拟接收客户端。此时，测试的压力源为模拟的企业邮件系统提供测试所需的压力，测试工具所模拟的接收客户端为被动接收方。在发送邮件流程中，测试工具的压力源为模拟的接收客户端来提供测试所需的压力，企业邮件系统为被动接收方，主要通过装置的被测参数采集器来采集相应的系统信息；在混合流程测试中，由于同时存在接收邮件、提取附件、转发邮件、发送邮件流程，测试工具同时模拟压力源及压力的接收方。

　　5．测试步骤

　　对于PUSHEMAIL性能测试的步骤大体分成五个步骤进行。

　　步骤一：配置测试的项目

　　在测试工具上配置单项流程测试或者混合流程测试。

　　步骤二：配置业务流程

　　如果是对单项业务流程测试，在此步骤需要配置测试的接收邮件流程、发送邮件流程、提取附件流程、转发邮件四个业务流程中的具体业务流程；如果是对混合流程测试，需要根据现网的业务流量模型配置接收邮件流程、发送邮件流程、提取附件流程、转发邮件四个业务流程的流量百分比。

　　步骤三：压力增加

　　压力的增加是以阶梯上升的形式来完成。可以在测试工具上定义每秒递增多少用户，每个用户发送多少封邮件，达到一个目标值后稳定运行多少分钟。

　　步骤四：停止加压

　　此步骤是当被测系统资源超出70％或者达到系统标称指标的时候，测试工具不再向被测系统增加新的邮件，待系统将未处理的邮件处理自然完成的过程。

　　步骤五：数据采集

　　数据采集步骤是根据测试的实际需求，将测试得到数据提取出来的过程。

　　6．测试指标统计分析

　　测试指标的统计分析是测试中最重要的一个环节，测试中环境的搭建、测试数据的配置、测试工具的使用以及测试步骤的设计都是为最终的测试指标统计分析服务。统计指标的设定也成为客观反映此业务平台处理性能的关键。

　　对于PUSHEMAIL性能测试的指标设定主要从两个方面考虑，一方面要考虑到业务平台对各个业务流程的处理性能（接收邮件流程处理性能、发送邮件流程处理性能、提取附件流程处理性能、转发邮件处理性能）；另一方面要考虑到当业务系统处理性能达到一定的指标时，业务平台本身设备的系统资源消耗是多少。只有将以上两个方面相互关联考虑才能综合反映出此业务平台系统的整体性能。

　　下面结合PUSHEMAIL业务平台性能测试流程中的步骤四、步骤五来说明对指标的统计分析。

　　首先，需要确定统计指标的前提。对于PUSHEMAIL业务平台系统而言，需要确定两个前提，第一个前提是系统达到业务处理性能相应的标称指标；第二个前提是系统达到一定的处理能力时本身的资源消耗（CPU、内存）。

　　其次，需要确定在什么前提下统计哪些指标。在已经确定指标统计前提的基础上，需要确定相关的统计内容。在以系统达到业务处理性能相应的标称指标为前提的情况下，需要统计被测系统的系统资源消耗。即系统的CPU及内存的消耗；在以系统达到一定的处理能力时本身的资源消耗为前提的情况下，需要统计PUSHEMAIL业务系统能够承受的最大用户数并发数、邮件处理速度、邮件处理成功率。

　　统计指标是直接反映PUSHEMAIL业务系统的综合能力的标准，分成系统业务处理性能指标和业务平台本身系统资源消耗的指标。只有将两者完全结合起来才能得出对PUSHEMAIL业务系统综合能力的考察。

　　系统业务处理性能指标

　　系统业务处理性能指标包括最大并发用户数、邮件处理速度和邮件处理成功率三个关键性指标。

　　最大并发用户数表示PUSHEMAIL业务系统能够同时承受多少个用户的邮件处理。对于用户来讲，此指标直接影响到邮件处理高峰时系统所能够支持的最大用户的数量；

　　邮件处理速度表示PUSHEMAIL业务系统对邮件处理的快慢，此指标直接反映出用户邮件收发的速度；

　　邮件处理成功率表示PUSHEMAIL业务系统对邮件处理成功的比率，此指标直接反映到用户成功收发邮件的百分比。

　　业务平台本身系统资源消耗的指标

　　系统设备资源消耗指标主要考察在测试过程中的CPU和内存使用率。CPU和内存的消耗能够直接反映业务平台运行的效率和稳定性。

　　根据以上两类指标，将两者结合起来综合对被测业务平台的性能进行评估。对于满足性能要求的PUSHEMAIL业务平台应该是处理性能、最大并发用户数和邮件处理成功率达到标称值的时候，其系统的CPU和内存消耗在70％以下（一般而言，对于电信产品系统性能消耗上认为当系统资源消耗70％以上时，其性能就达到不稳定的状态）。

　　三、小结

　　此文以PUSHEMAIL业务平台的性能测试方法为切入点，根据测试经验对在PUSHEMAIL业务平台进行性能测试过程中测试环境、检验重点、测试预配置、测试工具、测试步骤以及测试需要统计分析的指标做了较为详细的讲解，希望能够为开展业务平台性能测试提供一些参考及借鉴。

----《通信世界》

作者：中国移动研发中心 郭松