一、开篇暴击：你的数据库正在经历这些痛苦吗？

• 存储成本飙升：订单表3年增长到800GB，云盘费用月增2000+
• 查询卡成PPT：用户历史数据检索响应时间突破15秒
• 备份恢复噩梦：全库备份耗时从20分钟延长到2小时
• 开发效率骤降：WHERE create_time<"2020年" 的查询拖垮整个实例

真实案例：某电商平台清理1.2亿日志数据，传统DELETE方式导致：

主从延迟12小时锁等待超时237次磁盘空间未释放

二、核弹级解决方案：pt-archiver工作原理揭秘

2.1 与传统方式的降维对比

2.2 三维透视工作原理

三、手把手实战教学（关键操作配截图）

3.1 安装篇：2分钟极速部署

# 适用于CentOS的「一行流」安装
sudo yum install percona-toolkit -y && which pt-archiver

3.2 基础篇：清理3年前订单数据

pt-archiver \
--source h=localhost,D=test,t=orders,u=root,p=123456 \
--where "create_time < DATE_SUB(NOW(), INTERVAL 3 YEAR)" \
--purge \
--limit 1000 \
--commit-each

参数解析表

参数调优指南：

1. 高并发场景：--limit 500 --sleep 0.3
2. 快速归档模式：--limit 5000 --bulk-insert --bulk-delete
3. 敏感数据操作：--dry-run --why-quit

注意事项：

--limit值越大，单次事务时间越长，可能引发锁等待--sleep参数可有效降低主库压力，但会延长总执行时间务必先用--dry-run验证WHERE条件准确性

3.3 进阶篇：跨服务器归档

pt-archiver \
--source h=主库IP,D=生产库,t=订单表,u=archiver,p=密码 \
--dest h=归档库IP,D=历史库,t=订单表 \
--where "created_at < DATE_SUB(NOW(), INTERVAL 3 YEAR)" \
--limit 2000 \
--progress 5000 \
--bulk-delete \
--bulk-insert \
--statistics \
--txn-size 2000 \
--sleep 0.5 \
--no-check-charset

四、避坑指南：血泪经验总结

4.1 必查清单（执行前逐项确认）

1. 已添加--dry-run参数试运行
2. 目标表结构校验完成
3. 从库延迟监控已开启
4. 磁盘空间检查（至少保留20%）
5. 业务低峰期窗口确认

4.2 高频报错解决方案

# 报错1：表结构不匹配
Error: Column count doesn't match
 修复方案：添加--columns参数指定字段

# 报错2：主键缺失
No PRIMARY or UNIQUE index found
 修复方案：临时添加索引
ALTER TABLE orders ADD INDEX idx_ctime(create_time);

# 报错3：外键约束
Cannot delete rows due to FOREIGN KEY
 修复方案：按依赖顺序归档或SET foreign_key_checks=0

五、性能核弹：百万级数据实战报告

5.1 测试环境

- 机器配置：4C8G SSD云主机
- MySQL版本：8.0.28
- 数据量：`orders`表350万条（未分区）

5.2 性能对比数据

六、专家私藏配置

结合Java代码以及shell脚本，是归档设置更加灵活

shell脚本

#!/bin/sh

set -e
#表结构列表
#echo $1

tableList=$1
sParams=$2
dParams=$3
oParams=$4
whereFrom=$5
whereTo=$6
operate=$7
IFS=";"

#历史数据处理
function doHistoryData() {
    for tableName in $tableList
    do
        commandStr="pt-archiver --source ${tableName} --dest ${tableName} ${whereFrom} --no-delete $oParams"
            echo "pt-archiver --source ${sParams}${tableName} --dest ${dParams}${tableName} ${whereFrom} --no-delete $oParams" | sh
            echo ${commandStr}
            commandStr="pt-archiver --source ${tableName} --dest ${tableName} ${whereTo} --bulk-delete $oParams"
            echo "pt-archiver --source ${sParams}${tableName} --dest ${dParams}${tableName} ${whereTo} --bulk-delete $oParams" | sh
            echo ${commandStr}
            echo "succ"
    done
}

# 参数检查
if [ -z ${operate} ]; then
  echo "operate can not be null."
else
  # 启动程序
  if [ ${operate} == "doHistory" ]; then
    doHistoryData
  else
    echo "Not supported the operate."
  fi
fi

Java代码

private Pair startBackUpSh(StringBuilder sBuilder, String tableName, String where, String filePath, String toFileName, String zipFileName, StringBuilder oBuilder, String method) throws IOException {
        String command = System.getProperty("user.dir") + "/bin/BackUp.sh";
        CommandLine cmdl = new CommandLine(command);
        cmdl.addArgument(sBuilder.toString(), false);
        cmdl.addArgument(tableName, false);
        cmdl.addArgument(where, false);
        cmdl.addArgument(filePath, false);
        cmdl.addArgument(toFileName, false);
        cmdl.addArgument(zipFileName, false);
        cmdl.addArgument(oBuilder.toString(), false);
        cmdl.addArgument(method, false);
        DefaultExecutor executor = new DefaultExecutor();
        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        executor.setStreamHandler(new PumpStreamHandler(baos));
        int execute = executor.execute(cmdl);
        RUN_LOGGER.debug("execute result = {}", execute);
        final String result = baos.toString().trim();
        RUN_LOGGER.debug("execute result = {}", result);
        if (StrUtil.containsIgnoreCase(result, "succ") || StrUtil.containsIgnoreCase(result, "no more rows")) {
            return new Pair<>(true, result);
        } else {
            return new Pair<>(false, result);
        }
    }