性能测试

一、测试背景

1、机器配置和版本

机器配置（下面测试qps数据都是以本机器配置为准）型号：Dell s3710磁盘：SSD 3TCPU:32内存：128GMySQL版本：5.7.22gh-ost版本：1.0.46pt-osc版本：3.0.12

2、数据准备和业务模拟

----插入1000万条数据,表大小约2G--sysbench --mysql-user=darren --mysql-password=darren --mysql-host=10.126.126.164 --mysql-port=3306 --test=tests/db/oltp.lua --oltp_tables_count=1 --oltp-table-size=10000000 --rand-init=on prepare----64个并发线程模拟SQL----sysbench --mysql-user=darren --mysql-password=darren --mysql-host=10.126.126.164 --mysql-port=3306 --test=tests/db/oltp.lua --oltp-reconnect-mode=transaction --oltp_tables_count=1 --oltp-table-size=10000000 --num-threads=64 --oltp-read-only=off --report-interval=10 --rand-type=uniform --max-time=6000 --max-requests=0 run

二、性能测试

1、测试工具命令

-----------------------------------------gh-ost------------------------------------------- time gh-ost --max-load=Threads_running=70 --critical-load=Threads_running=80 --chunk-size=1000 --dml-batch-size=100 --initially-drop-old-table --initially-drop-ghost-table --initially-drop-socket-file --ok-to-drop-table --host="10.126.126.164" --port=3306 --user="darren" --password="darren" --assume-rbr --allow-on-master --assume-master-host=10.126.126.164:3306 --database="sbtest" --table="sbtest1" --alter="drop primary key" \ --panic-flag-file=/tmp/ghost.panic.flag --serve-socket-file=/tmp/ghost.sock --verbose --execute-----------------------------------------pt-osc-------------------------------------------time pt-online-schema-change --user=darren --password=darren --port=3306 --host=10.126.126.164 --alter "engine=innodb" D=sbtest,t=sbtest1 --max-load="Threads_running=70" --critical-load="Threads_running=80" --execute

2、单表高负载测试(64个并发线程，写入QPS：26927)

3、单表正常负载测试(4个并发线程以下，写入QPS5000以下)

【注】

经过测试：当写入QPS5000以上，gh-ost无法完成任务，其原因是apply binlog是单线程，可以理解为slave，当原表写入量巨大时(QPS=5000以上)，一直在应用日志，而gh-ost设计是binlog应用优先级高于row copy，所以我们看到row copy进度一直没变，这样如果原表一直压力这么大，那么gh-ost DDL将无法完成。经过在s3710机器上测试如果原表写入的QPS大于5000将大概率出现此情况，小于5000的话没问题。Copy: 0/9705089 0.0%; Applied: 183480; Backlog: 1000/1000; Time: 1m24s(total), 1m24s(copy); streamer: tjtx-126-164.001588:441763689; Copy: 0/9705089 0.0%; Applied: 185490; Backlog: 1000/1000; Time: 1m25s(total), 1m25s(copy); streamer: tjtx-126-164.001588:442986068; Copy: 0/9705089 0.0%; Applied: 207590; Backlog: 1000/1000; Time: 1m30s(total), 1m30s(copy); streamer: tjtx-126-164.001588:455843331;

三、各个工具优缺点对比

四、建议的DDL方案

1、MySQL5.5版本DDL方案

MySQL5.5版本online ddl功能不完善，建议全部使用PT-OSC工具进行

2、MySQL5.6和5.7版本DDL方案

3、MySQL8.0版本DDL方案