性能测试指南(jmeter)

新系统能力验证

客户有明确要求

找出系统性能瓶颈

稳定性验证（强度测试）

基准测试：在给系统施加较低压力时，查看系统的运行状况并记录相关数做为基础参考。

负载测试：是指对系统不断地增加压力或增加一定压力下的持续时间，直到系统的某项或多项性能指标达到安全临界值，例如某种资源已经达到饱和状态等。

压力测试：压力测试是评估系统处于或超过预期负载时系统的运行情况，关注点在于系统在峰值负载或超出最大载荷情况下的处理能力。

稳定性测试：在给系统加载一定业务压力的情况下，使系统运行一段时间，以此检测系统是否稳定。

并发测试：测试多个用户同时访问同一个应用、同一个模块或者数据记录时是否存在死锁或者其他性能问题。

对指标的描述包括以下属性：

一般性能需求描述示例：

* Web首页打开速度 5s 以下，Web登陆速度 15s 以下。
* 邮件服务支持 50 万个在线用户
* 计费话单成功率达到 99.999% 以上。
* 在100个并发用户的高峰期，邮箱的基本功能，处理能力至少达到 10QPS(TPS).
  QPS(TPS)--每秒钟请求/事物 数量
* 系统能在高于实际系统运行压力 1 倍的情况下，稳定的运行 12 小时。
* 这个系统能否支撑200万的VU（每天登录系统的人次）
  VU--Virtual user(虚拟用户)

启动 jmeter ，创建线程组
右击 TestPlan ,选择 Add→Treads(Users)→Thread Group

Figure 2. 创建线程组

设置一个 Name ，例如 demo

Figure 3. 创建线程组

配置 Thread Properties 执行策略，参见配置线程启动策略

用 Jmeter 中的函数获取参数值，Random，threadNum，CSVRead，StringFromFile，具体调用方法如下：
${Random(,,)}，$，${CSVRead(,)}，${StringFromFile(,,,)}。
参看Jmeter函数的使用，通过菜单“选项”→“函数助手对话框”，即可在“函数助手”弹出框上找到Jmeter的函数。
其中 ${Random(,,)} 方法的第一个参数为随机数的下限，第二个参数为随机数的上限，第三个参数为储存随机数的变量名； ${CSVRead(,)} 方法中第一个参数是文件名，第二个参数是文件中的列（列数从0开始）； ${StringFromFile(,,,)} 方法中第一个参数是文件名，${StringFromFile(,,,)} 方法中没有指定读取文件中的哪一列的参数，所以 ${StringFromFile(,,,)} 只能读取包含一列的文件。

用户定义的变量

从 csv 文件中读取
当参数的值没有规律且量不太大时，可以用这种方法。
具体做法如下：

从数据库中获取,当参数的值没有规律且量比较大时，可以选用这种方法,暂不做详细介绍。

用正则表达式从前面请求的响应数据中提取，具体操作见 Jmeter 官方文档正则表达式提取器

Number of Simulated User to Group ： 模拟用户到组数,即设置组的用户数，达到该用户数后才进行接口的请求

Timeout in milliseconds : 超时（毫秒）,设置超时时间，即组在超时时间后达不到设置的线程数时，会丢弃继续请求

从前一个请求中取，用正则表达式提取器。
具体方法，在需要获得数据的请求上右击添加一个后置处理器-→正则表达式提取器
引用名称即下一个请求要引用的参数名称，如填写 title ，则可用 ${title} 引用它。
正则表达式中()括起来的部分就是要提取的。.代表任意字符，*代表出现任意次。
模板，用 $$ 引用起来，如果在正则表达式中有多个正则表达式（多个括号括起来的东东），则可以是 $2$ ， $3$ 等等，表示解析到的第几个值给 title 。
匹配数字，0代表随机，-1代表所有，其余正整数代表将在检查的内容中，第几个匹配的内容提取出来。

用 xpath 从前一个请求中取。这种形式比较适合于返回为 xml 片段的情况。
在需要获得数据的请求上右击添加一个后置处理器-→ xPath Extractor 。
引用名称即下一个请求要引用的参数名称，如填写 body ，则可用 ${body} 引用它。
XPath query ，即 xpath 的表达式，要符合 xpath 的语法。

添加 jp@gc - PerfMon Metrics Collector

Figure 19. jp@gc监听

配置监控的服务器以及监控内容

Figure 20. jp@gc监听

线程数：虚拟用户数。一个虚拟用户占用一个进程或线程。 设置多少个虚拟用户数在这里也就是设置多少个线程数。

准备时长：设置的虚拟用户数需要多长时间全部启动。如果线程数为20，准备时长为10，那么需要10秒钟启动20个线程。也就是每秒钟启动2个线程。

循环次数：每个线程发送请求的次数。如果线程数为20， 循环次数为100，那么每个线程发送100次请求。总请求数为20*100=2000。如果勾选了 永远 ,那么所有线程会一直发送请求，直到选择停止运行脚本。 1S=1000MS,1MIN=60000MS,1H=3600000MS

运行线程

查看结果树 view results tree 为了减少性能消耗该项建议勾选只显示错误消息，相关指标可以查看聚合报告或添加其他监听。

Thread Name: 线程组名称
Sample Start: 启动开始时间
Load time: 加载时长
Latency: 等待时长
Size in bytes: 发送的数据总大小 1GB＝1024MB，1MB＝1024KB，1KB＝1024Bytes Headers
size in bytes: 发送头大小
Body size in bytes: 发送数据的其余部分大小
Sample Count: 发送统计
Error Count: 交互错误统计
Response code: 返回码
Response message: 返回信息
Response headers: 返回的头部信息

聚合报告 aggregate report

Label：请求类型，对应在测试计划下填写的请求名称。
Samples：当前发送到服务器的请求总数，对应图形报表中的样本数目。
Average：平均响应时间，计算方法是总运行时间除以发送到服务器的总请求数，对应图形报表中的平均值。
Median：中位数,也就是50%用户的响应时间,即图形报表中的中间值。
90%Line：90%用户的响应时间
95%Line：95%用户的响应时间
99%Line：99%用户的响应时间
Min：服务器响应的最短时间
Max: 服务器响应的最长时间
Error%: 请求返回错误的百分比
Throughput: 服务器每单位时间处理的请求数，对应图形报表中的吞吐量。
KB/sec: 每秒钟请求的字节数。

硬件上的性能瓶颈：

应用软件上的性能瓶颈：

应用程序上的性能瓶颈：

操作系统上的性能瓶颈：

网络设备上的性能瓶颈：

确定问题

分析问题

确定调整目标和解决方案

测试解决方案

分析调优结果

如果达到了预期目标，调优工作就基本可以结束了。如果未达标则重复以上步骤。

注册用户数
注册用户数指软件中已经注册的用户，这些用户是系统的潜在用户，随时都有可能上线。这个指标的意义在于让测试工程师了解系统数据中的数据总量和系统最大可能有多少用户同时在线。

在线用户数
在线用户数是指某一时刻已经登录系统的用户数量。在线用户数只是统计了登录系统的用户数量，这些用户不一定都对系统进行操作，对服务器产生压力。

并发用户数
不同于在线用户数，并发用户数是指某一时刻向服务器发送请求的在线用户数，他是衡量服务器并发容量和同步协调能力的重要指标，从这个含义上讲，我们可能会如下两种理解：
同一时刻向服务器发送相同或者不同请求的用户数，也就是说，既可以包括对某一业务的相同请求，也可以包括对多个业务的不同请求
同一时刻向服务器发送相同请求的用户数，仅限于某一业务的相同请求

请求的响应时间
响应时间就是用户感受软件系统为其服务所消耗的时间。对于 web 系统，请求的响应时间指的是从客户端发起的一个请求时间，到客户端接收到从服务器返回的响应结束。

在3秒之内，页面给予用户响应所有显示，可认为是很不错的

在3-5秒之内，页面给予用户响应所有显示，可认为是好的

在5-10秒之内，页面给予用户响应所有提示，可认为是勉强接收的

超过10秒后就有点让人不耐烦，用户很坑不会继续等待下去

事务的响应时间
事务是指用户在客户端做一种或多种业务所需要的操作集，事务的响应时间就是衡量用户执行这些操作集所花费的时间。在性能测试中，一般通过计算事务的开始时间和结束时间的差值来获取事务的响应时间。

每秒点击数
每秒点击数是指每秒钟像 web 服务器提交的 HTTP 请求数，它是衡量服务器处理能力的一个常用指标。需要注意的是，这里的响应时间并非鼠标的一次单击操作，因为在一次单击操作中，客户端可能向服务器发出多个 HTTP 请求，切勿混淆。

吞吐率
吞吐率通常指单位时间内从服务器返回的字节数，也可以单位时间内客户提交的请求数。吞吐率是大型web系统衡量自身负载能力的一个重要指标，一般来说，吞吐率越大，单位时间内处理的数据就越多，系统的负载能力也强。吞吐率与很多因素有关，服务器的硬件配置，网络的宽带及拓扑结构，软件的技术架构等。

业务成功率
指多用户对某一业务发起操作的成功率。例如，测试网络订票系统的并发处理性能，在早上8:00——8:30半小时的高峰里，要求能支持10万比订票业务，其中成功率不少于98%。也就是说系统允许200笔订票业务超时或者因其他原因导致未能订票成功。

TPS
TPS 表示服务器每秒处理的事务数，他是衡量系统处理能力的一个非常重要的指标，在性能测试中，通过检测不同用户的 TPS ,可以估算出系统处理能力的拐点。

资源利用率
资源利用率就是指资源的使用情况，如 CPU 使用率、内存使用率、网络宽带的使用情况、磁盘 I/O 的输入输出量等系统硬件方面的监控指标。一个完整的系统是由软件和硬件组成，缺了任何一方都不可能成为一个正常运作的系统，所以资源利用率也是测试人员的一个监控点，并在当前软件的发展趋势下，硬件资源的成本也不可小视。