史上最详细的tpcc-mysql基准测试介绍,值得收藏
wptr33 2024-11-24 22:27 20 浏览
概述
TPC-C是专门针对联机交易处理系统(OLTP系统)的规范,一般情况下我们也把这类系统称为业务处理系统。
tpcc-mysql是percona基于TPC-C(下面简写成TPCC)衍生出来的产品,专用于MySQL基准测试。其源码放在launchpad上,用bazaar管理。
一、 安装tpcc-mysql
1、下载源码包
官方:https://code.launchpad.net/~percona-dev/perconatools/tpcc-mysql
官方github:https://github.com/Percona-Lab/tpcc-mysql
wget https://codeload.github.com/Percona-Lab/tpcc-mysql/zip/master
tpcc-mysql的业务逻辑及其相关的几个表作用如下:
New-Order:新订单,一次完整的订单事务,几乎涉及到全部表 Payment:支付,主要对应 orders、history 表 Order-Status:订单状态,主要对应 orders、order_line 表 Delivery:发货,主要对应 order_line 表 Stock-Level:库存,主要对应 stock 表 其他相关表: 客户:主要对应 customer 表 地区:主要对应 district 表 商品:主要对应 item 表 仓库:主要对应 warehouse 表
2、编译安装
编译非常简单,只需要一个 make 即可。
unzip tpcc-mysql-master.zip -d /usr/local/ cd /usr/local/tpcc-mysql-master/src make
如果 make 没有报错,就会在/usr/local/tpcc-mysql-master下生成 tpcc 二进制命令行工具 tpcc_load 、 tpcc_start
3、配置环境变量
echo "export PATH=$PATH:/usr/local/tpcc-mysql-master" >> /etc/profile source /etc/profile
二、TPCC测试前准备
1、创建测试数据库
set global validate_password_policy=0; create database tpcc; grant all privileges on tpcc.* to tpcc@'%' identified by 'tpcc@1234'; flush privileges;
2、初始化测试库环境
#创建表 mysql -uroot -p -h 172.26.151.78 -D tpcc < /usr/local/tpcc-mysql-master/create_table.sql #创建FK和索引 mysql -uroot -p -h 172.26.151.78 -D tpcc < /usr/local/tpcc-mysql-master/add_fkey_idx.sql
3、加载测试数据
tpcc_load用法如下:
tpcc_load [server] [DB] [user] [pass] [warehouse] tpcc_load [server] [DB] [user] [pass] [warehouse] [part] [min_wh] [max_wh]
选项 warehouse 意为指定测试库下的仓库数量。
真实测试场景中,仓库数一般不建议少于100个,视服务器硬件配置而定,如果是配备了SSD或者PCIE SSD这种高IOPS设备的话,建议最少不低于1000个。
执行下面的命令,开始灌入测试数据:
tpcc_load -h 172.26.151.78 -P 3306 -d tpcc -u tpcc -p tpcc@1234 -w 5
在这里,需要注意的是 tpcc 默认会读取 /var/lib/mysql/mysql.sock 这个socket 文件。
ps:tpcc并行加载脚本项目链接 tpcc_load_parallel.sh,加载效率至少提升10倍以上。
三、TPCC压测
tpcc_start 工具用于tpcc压测,其用法如下:
tpcc_start -h server_host -P port -d database_name -u mysql_user -p mysql_password \ -w warehouses -c connections -r warmup_time -l running_time -i report_interval -f report_file
几个选项稍微解释下
-w 指定仓库数量 -c 指定并发连接数 -r 指定开始测试前进行warmup的时间,进行预热后,测试效果更好 -l 指定测试持续时间 -i 指定生成报告间隔时长 -f 指定生成的报告文件名
实例:
tpcc_start -h 172.26.151.78 -P 3306 -d tpcc -u tpcc -p tpcc@1234 \ -w 5 -c 16 -r 120 -l 60 -f tpcc_mysql.log >> tpcc_run_result.log 2>&1
说明:模拟5个仓库规模,并发 16个线程进行测试,热身时间为 120秒, 压测时间为 60秒。
真实测试场景中,建议预热时间不小于5分钟,持续压测时长不小于30分钟,否则测试数据可能不具参考意义。
四、TPCC测试结果解读
测试结果输出如下:
*************************************** *** ###easy### TPC-C Load Generator *** *************************************** option h with value '172.26.151.78' --主机 option P with value '3306' --端口 option d with value 'tpcc' --数据库 option u with value 'tpcc' --用户 option p with value 'tpcc@1234' --密码 option w with value '5' --仓库 option c with value '16' --并发数 option r with value '120' --数据预热时长 option l with value '60' --压测时长 option f with value 'tpcc_mysql.log' --输出报告日志文件 <Parameters> [server]: 172.26.151.78 [port]: 3306 [DBname]: tpcc [user]: tpcc [pass]: tpcc@1234 [warehouse]: 5 [connection]: 16 [rampup]: 120 (sec.) [measure]: 60 (sec.) RAMP-UP TIME.(120 sec.) --预热结束,开始进行压测 MEASURING START. --每10秒钟输出一次压测数据 10, trx: 2743, 95%: 47.649, 99%: 60.724, max_rt: 111.180, 2744|114.260, 275|12.523, 274|110.302, 276|183.083 20, trx: 2736, 95%: 46.494, 99%: 59.893, max_rt: 84.122, 2735|91.317, 273|10.343, 273|108.566, 272|202.762 30, trx: 2806, 95%: 46.051, 99%: 57.195, max_rt: 73.239, 2804|75.634, 281|7.229, 281|88.217, 280|146.604 40, trx: 2662, 95%: 45.748, 99%: 55.111, max_rt: 77.804, 2660|111.316, 266|6.176, 266|99.176, 267|152.443 50, trx: 2729, 95%: 47.678, 99%: 61.602, max_rt: 101.055, 2736|72.949, 273|9.053, 274|101.752, 273|149.860 60, trx: 2803, 95%: 44.546, 99%: 57.694, max_rt: 75.418, 2796|92.569, 280|6.037, 279|106.101, 280|142.249 -- 第一列,第N次10秒 -- trx: 2803 - 给定间隔的New Order 的 transaction 数量 -- 95%: 44.546 - 给定间隔95%的New Order transactions的reponse time -- max_rt: 75.418 - 最大New Order transactions的reponse time -- 剩余的都是别的transactions的trx和最大response time --压测结束 STOPPING THREADS................ <Raw Results> [0] sc:0 lt:16480 rt:0 fl:0 avg_rt: 85.4 (5) -- New-Order,新订单业务成功(success,简写sc)次数,延迟(late,简写lt)次数,重试(retry,简写rt)次数,失败(failure,简写fl)次数 [1] sc:457 lt:16018 rt:0 fl:0 avg_rt: 38.9 (5) -- Payment,支付业务统计 [2] sc:1619 lt:29 rt:0 fl:0 avg_rt: 7.6 (5) -- Order-Status,订单状态业务统计 [3] sc:1546 lt:101 rt:0 fl:0 avg_rt: 194.9 (80) -- Delivery,发货业务统计 [4] sc:0 lt:1648 rt:0 fl:0 avg_rt: 301.9 (20) -- Stock-Level,库存业务统计 in 60 sec. # sc:成功数量 lt:延迟数量 fl:失败数量 avg_rt:平均response time <Raw Results2(sum ver.)> [0] sc:0 lt:16480 rt:0 fl:0 [1] sc:457 lt:16019 rt:0 fl:0 [2] sc:1619 lt:29 rt:0 fl:0 [3] sc:1546 lt:101 rt:0 fl:0 [4] sc:0 lt:1648 rt:0 fl:0 <Constraint Check> (all must be [OK]) -- 下面所有业务逻辑结果都必须为 OK 才行 [transaction percentage] Payment: 43.47% (>=43.0%) [OK] -- 支付成功次数(上述统计结果中 sc + lt)必须大于43.0%,否则结果为NG,而不是OK Order-Status: 4.35% (>= 4.0%) [OK] -- 订单状态,其他同上 Delivery: 4.35% (>= 4.0%) [OK] -- 发货,其他同上 Stock-Level: 4.35% (>= 4.0%) [OK] -- 库存,其他同上 [response time (at least 90% passed)] -- 响应耗时指标必须超过90%通过才行 New-Order: 0.00% [NG] * -- 下面几个响应耗时指标部分没通过 Payment: 2.77% [NG] * Order-Status: 98.24% [OK] Delivery: 93.87% [OK] Stock-Level: 0.00% [NG] * # 和标准比较 [OK] 合格 [NG] 不合格 <TpmC> 16480.000 TpmC #每分钟事务数(该值是第一次统计结果中的新订单事务数除以总耗时分钟数)
觉得有用的朋友多帮忙转发哦!后面会分享更多devops和DBA方面的内容,感兴趣的朋友可以关注下~
相关推荐
- Python自动化脚本应用与示例(python办公自动化脚本)
-
Python是编写自动化脚本的绝佳选择,因其语法简洁、库丰富且跨平台兼容性强。以下是Python自动化脚本的常见应用场景及示例,帮助你快速上手:一、常见自动化场景文件与目录操作...
- Python文件操作常用库高级应用教程
-
本文是在前面《Python文件操作常用库使用教程》的基础上,进一步学习Python文件操作库的高级应用。一、高级文件系统监控1.1watchdog库-实时文件系统监控安装与基本使用:...
- Python办公自动化系列篇之六:文件系统与操作系统任务
-
作为高效办公自动化领域的主流编程语言,Python凭借其优雅的语法结构、完善的技术生态及成熟的第三方工具库集合,已成为企业数字化转型过程中提升运营效率的理想选择。该语言在结构化数据处理、自动化文档生成...
- 14《Python 办公自动化教程》os 模块操作文件与文件夹
-
在日常工作中,我们经常会和文件、文件夹打交道,比如将服务器上指定目录下文件进行归档,或将爬虫爬取的数据根据时间创建对应的文件夹/文件,如果这些还依靠手动来进行操作,无疑是费时费力的,这时候Pyt...
- python中os模块详解(python os.path模块)
-
os模块是Python标准库中的一个模块,它提供了与操作系统交互的方法。使用os模块可以方便地执行许多常见的系统任务,如文件和目录操作、进程管理、环境变量管理等。下面是os模块中一些常用的函数和方法:...
- 21-Python-文件操作(python文件的操作步骤)
-
在Python中,文件操作是非常重要的一部分,它允许我们读取、写入和修改文件。下面将详细讲解Python文件操作的各个方面,并给出相应的示例。1-打开文件...
- 轻松玩转Python文件操作:移动、删除
-
哈喽,大家好,我是木头左!Python文件操作基础在处理计算机文件时,经常需要执行如移动和删除等基本操作。Python提供了一些内置的库来帮助完成这些任务,其中最常用的就是os模块和shutil模块。...
- Python 初学者练习:删除文件和文件夹
-
在本教程中,你将学习如何在Python中删除文件和文件夹。使用os.remove()函数删除文件...
- 引人遐想,用 Python 获取你想要的“某个人”摄像头照片
-
仅用来学习,希望给你们有提供到学习上的作用。1.安装库需要安装python3.5以上版本,在官网下载即可。然后安装库opencv-python,安装方式为打开终端输入命令行。...
- Python如何使用临时文件和目录(python目录下文件)
-
在某些项目中,有时候会有大量的临时数据,比如各种日志,这时候我们要做数据分析,并把最后的结果储存起来,这些大量的临时数据如果常驻内存,将消耗大量内存资源,我们可以使用临时文件,存储这些临时数据。使用标...
- Linux 下海量文件删除方法效率对比,最慢的竟然是 rm
-
Linux下海量文件删除方法效率对比,本次参赛选手一共6位,分别是:rm、find、findwithdelete、rsync、Python、Perl.首先建立50万个文件$testfor...
- Python 开发工程师必会的 5 个系统命令操作库
-
当我们需要编写自动化脚本、部署工具、监控程序时,熟练操作系统命令几乎是必备技能。今天就来聊聊我在实际项目中高频使用的5个系统命令操作库,这些可都是能让你效率翻倍的"瑞士军刀"。一...
- Python常用文件操作库使用详解(python文件操作选项)
-
Python生态系统提供了丰富的文件操作库,可以处理各种复杂的文件操作需求。本教程将介绍Python中最常用的文件操作库及其实际应用。一、标准库核心模块1.1os模块-操作系统接口主要功能...
- 11. 文件与IO操作(文件io和网络io)
-
本章深入探讨Go语言文件处理与IO操作的核心技术,结合高性能实践与安全规范,提供企业级解决方案。11.1文件读写11.1.1基础操作...
- Python os模块的20个应用实例(python中 import os模块用法)
-
在Python中,...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
面试官:git pull是哪两个指令的组合?
-
git 执行pull错误如何撤销 git pull fail
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 之后本地代码被覆盖 解决方案
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git命令之pull git.pull
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)