数据测试 pgbench 对 postgres 数据进行基础能力测试

周小丽 · April 15, 2019 · 352 hits

一、pgbench基础认知

1、postgresql自带提供了一款轻量级的压力测试工具:pgbench

2、可自行编写脚本,按自己的需求对数据库进行性能压力测试

3、postgres软件安装配置,默认安装的位置是 /usr/pg-10/bin

4、在用pgbench操作前,先了解下pgbench命令 pgbench –help

-c NUM 数据库客户端并发数(默认:1)

-C (为每个事务建立新的连接)

-D VARNAME=VALUE 通过客户脚本为用户定义变量

-f FILENAME 从文件FILENAME读取事务脚本

-j NUM  线程数(默认:1)

-i  写事务时间到日志文件

-M{simple|extended|prepared} 给服务器提交查询的协议

-n 在测试之前不运行VACUUM

-N 不更新表“pgbench_tellers” “pgbench_branches”

-r 报告每条命令的平均延迟

-s NUM 在输出中报告规模因子

-S 执行 SELECT-only事务

-t NUM 每个客户端运行的事务数(默认:10)

-T NUM benchmark测试时间(单位:秒)

-v 在测试前清空所有的四个标准表

-p 显示每个进程所需要的时间

scale乘以10万:表示测试数据量

range:表示活跃数据量

3、为pgbench设置环境变量

export PGHOST=<PostgreSQL实例内网地址>

export PGPORT=<PostgreSQL实例端口>

export PGDATABASE=postgres

export PGUSER=<PostgreSQL数据库用户名>

export PGPASSWORD=<PostgreSQL对应用户的密码>

二、创建测试数据

1、根据目标库大小初始化测试数据,具体命令如下:

初始化数据10亿:pgbench -i -s 10000 (自动创建一pgbench数据库,并自动创建相应的表,以及表数据)

2、用postgres账户创建只读脚本

\set aid random_gaussian(1, :range, 10.0)
SELECT abalance FROM pgbench_accounts WHERE aid = :aid;

3、用postgres账户创建读写脚本

\set aid random_gaussian(1, :range, 10.0)  
\set bid random(1, 1 * :scale)
\set tid random(1, 10 * :scale)
\set delta random(-5000, 5000)
BEGIN;
UPDATE pgbench_accounts SET abalance = abalance + :delta WHERE aid = :aid;
SELECT abalance FROM pgbench_accounts WHERE aid = :aid;
UPDATE pgbench_tellers SET tbalance = tbalance + :delta WHERE tid = :tid;
UPDATE pgbench_branches SET bbalance = bbalance + :delta WHERE bid = :bid;
INSERT INTO pgbench_history (tid, bid, aid, delta, mtime) VALUES (:tid, :bid, :aid, :delta, CURRENT_TIMESTAMP);
END;

二、执行测试

1、执行只读脚本

pg.x8.xlarge.2(服务器型号),总数据量10亿,热数据1亿

pgbench -M prepared -v -r -P 1 -f ./ro.sql -c 32 -j 32 -T 120 -D scale=10000 -D range=100000000

pg.x8.xlarge.2,总数据量10亿,热数据5亿

pgbench -M prepared -n -r -P 1 -f ./ro.sql -c 32 -j 32 -T 120 -D scale=10000 -D range=500000000

pg.x8.xlarge.2,总数据量10亿,热数据10亿

pgbench -M prepared -n -r -P 1 -f ./ro.sql -c 32 -j 32 -T 120 -D scale=10000 -D range=1000000000

2、执行读写脚本

pg.x8.xlarge.2,总数据量10亿,热数据1亿

pgbench -M prepared -v -r -P 1 -f ./rw.sql -c 32 -j 32 -T 120 -D scale=10000 -D range=100000000

pg.x8.xlarge.2,总数据量10亿,热数据5亿

pgbench -M prepared -n -r -P 1 -f ./rw.sql -c 32 -j 32 -T 120 -D scale=10000 -D range=500000000

pg.x8.xlarge.2,总数据量10亿,热数据10亿

pgbench -M prepared -n -r -P 1 -f ./rw.sql -c 32 -j 32 -T 120 -D scale=10000 -D range=1000000000

3、根据执行得出的tps,可算qps

qps = tps * sql语句个数

三、postgres单节点及集群测试

1、在集群为9999的节点上创建一pg_bench的测试库

pgbench p 9999 U postgres I pg_bench

2、为pg_bench创建表结构

psql p 9999 U postgres d pg_bench

由于使用的是默认参数创造的测试表,各表数据量如下:(history表是记录表,创建时为空)

在创建测试表的时候可以设置测试数据的量如:

pgbench p 9999 U postgres i F 100 s 500 pg_bench

pg_bench工具自带一个读写测试脚本 ,此脚本分别执行了insert,update,select,可有效测试数据库吞吐能力,和并发效率

3、压力测试
集群上1个session

pgbench p 9999 U pg_bench c 1 T 20 r pg_bench

集群上30个session

pgbench p 9999 U pg_bench c 30 T 20 r pg_bench

然后在单节点上,5432上执行:

pgbench p 5432 U pg_bench c 30 T 20 r pg_bench

4、自编脚本
自编后,使用命令进行压力测试:

pgbench p 9999 U pg_bench c 1 T 20 f /var/lib/postgresql/pgbench_script/readonly.sql

四、pgbench优劣势

优势:
1.系统自带,与postgresql兼容性好,且配置方便
2.工具小,执行速度快

劣势:
1.测量结果浮动较大,就多次实验来看,测量结果从40tps到400tps都出现过,统计后发现绝大多数执行结果落在350~400区间。故使用时须多次执行,取合适的值。
2.无法中断。执行过程中无法中断测试操作,就算kill了pg_bench进程,他的脚本也已经进入postgresql,postgresql依然会继续跑测试。只能等着他跑完。

No Reply at the moment.
需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up