1. 项目概述最近在给公司的PostgreSQL数据库设计备份方案时发现传统的定时全量备份方式不仅占用大量存储空间恢复时也相当耗时。经过多方调研最终选择了ZFS文件系统结合PostgreSQL 15的WAL归档功能实现了一套高效的自动备份与快照策略。这套方案在我们Ubuntu 22.04的生产环境稳定运行了半年多今天就把完整实现过程分享给大家。2. 环境准备与基础配置2.1 系统环境要求首先确保你的Ubuntu 22.04服务器满足以下条件至少16GB内存ZFS对内存需求较高独立的硬盘或SSD用于ZFS存储池root权限或sudo权限注意ZFS在内存不足时性能会显著下降建议生产环境配置32GB以上内存。2.2 ZFS存储池创建安装ZFS工具包sudo apt update sudo apt install zfsutils-linux创建存储池假设使用/dev/sdb作为存储设备sudo zpool create -f pgpool /dev/sdb设置关键参数优化性能sudo zfs set compressionlz4 pgpool sudo zfs set atimeoff pgpool sudo zfs set recordsize8k pgpool验证存储池状态sudo zpool status sudo zfs list3. PostgreSQL 15安装与配置3.1 安装PostgreSQL 15添加官方源并安装sudo sh -c echo deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main /etc/apt/sources.list.d/pgdg.list wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add - sudo apt update sudo apt install postgresql-15 postgresql-contrib-153.2 数据库初始化配置修改postgresql.conf关键参数sudo nano /etc/postgresql/15/main/postgresql.conf需要调整的主要参数wal_level replica archive_mode on archive_command test ! -f /pgpool/archivedir/%f cp %p /pgpool/archivedir/%f max_wal_senders 3 wal_keep_size 1GB创建归档目录并设置权限sudo zfs create pgpool/archivedir sudo chown postgres:postgres /pgpool/archivedir4. ZFS快照策略实现4.1 基础快照脚本创建/etc/zfs-scripts/pg-snapshot.sh#!/bin/bash # 获取当前时间 TIMESTAMP$(date %Y%m%d_%H%M%S) # 执行预快照命令 sudo -u postgres psql -c SELECT pg_start_backup(zfs_snapshot_$TIMESTAMP, true); # 创建ZFS快照 sudo zfs snapshot pgpool/pgdata$TIMESTAMP # 执行快照后命令 sudo -u postgres psql -c SELECT pg_stop_backup(); # 保留最近7天快照 sudo zfs list -t snapshot -o name | grep pgpool/pgdata | sort -r | tail -n 8 | xargs -n 1 sudo zfs destroy4.2 自动化定时任务设置cron定时任务sudo crontab -e添加以下内容每天凌晨2点执行0 2 * * * /etc/zfs-scripts/pg-snapshot.sh /var/log/zfs-snapshot.log 215. 高级备份策略实现5.1 增量备份方案结合WAL归档的增量备份脚本#!/bin/bash # 基础备份目录 BASE_DIR/pgpool/basebackups WAL_DIR/pgpool/archivedir # 创建基础备份 sudo -u postgres pg_basebackup -D $BASE_DIR/$(date \%Y-\%m-\%d) -Ft -z -Xs -P # 清理旧备份保留最近4个 ls -td $BASE_DIR/* | tail -n 5 | xargs rm -rf # 清理旧WAL保留最近2天的 find $WAL_DIR -type f -mtime 2 -delete5.2 多级快照策略优化后的快照保留策略每小时快照保留24小时每日快照保留7天每周快照保留4周每月快照保留12个月实现脚本#!/bin/bash # 每小时快照 HOURLY$(date %Y%m%d_%H) sudo zfs snapshot pgpool/pgdatahourly_$HOURLY # 每日快照只在凌晨执行 if [ $(date %H) -eq 0 ]; then DAILY$(date %Y%m%d) sudo zfs snapshot pgpool/pgdatadaily_$DAILY fi # 每周快照只在周日凌晨执行 if [ $(date %u) -eq 7 ] [ $(date %H) -eq 0 ]; then WEEKLY$(date %Y%U) sudo zfs snapshot pgpool/pgdataweekly_$WEEKLY fi # 每月快照每月1日凌晨执行 if [ $(date %d) -eq 1 ] [ $(date %H) -eq 0 ]; then MONTHLY$(date %Y%m) sudo zfs snapshot pgpool/pgdatamonthly_$MONTHLY fi # 清理旧快照 sudo zfs list -t snapshot -o name | grep pgpool/pgdatahourly | sort -r | tail -n 25 | xargs -n 1 sudo zfs destroy sudo zfs list -t snapshot -o name | grep pgpool/pgdatadaily | sort -r | tail -n 8 | xargs -n 1 sudo zfs destroy sudo zfs list -t snapshot -o name | grep pgpool/pgdataweekly | sort -r | tail -n 5 | xargs -n 1 sudo zfs destroy sudo zfs list -t snapshot -o name | grep pgpool/pgdatamonthly | sort -r | tail -n 13 | xargs -n 1 sudo zfs destroy6. 恢复与验证方案6.1 从快照恢复数据库完整恢复步骤# 1. 停止PostgreSQL服务 sudo systemctl stop postgresql # 2. 回滚到指定快照 sudo zfs rollback pgpool/pgdatadaily_20230801 # 3. 启动PostgreSQL服务 sudo systemctl start postgresql6.2 从WAL归档进行PITR时间点恢复流程# 1. 恢复基础备份 sudo -u postgres pg_restore -D /var/lib/postgresql/15/main /pgpool/basebackups/2023-08-01/base.tar # 2. 创建recovery.conf echo restore_command cp /pgpool/archivedir/%f %p recovery_target_time 2023-08-01 14:30:00 /var/lib/postgresql/15/main/recovery.conf # 3. 启动PostgreSQL服务 sudo systemctl start postgresql7. 监控与维护7.1 监控ZFS空间使用设置监控脚本#!/bin/bash THRESHOLD80 USAGE$(zpool list -o capacity -H pgpool | tr -d %) if [ $USAGE -gt $THRESHOLD ]; then echo ZFS pool usage exceeded threshold: $USAGE% | mail -s ZFS Storage Alert adminexample.com fi7.2 定期完整性检查每月执行一次ZFS数据清理sudo zpool scrub pgpool检查PostgreSQL备份完整性sudo -u postgres pg_verifybackup /pgpool/basebackups/latest8. 性能优化技巧8.1 ZFS参数调优针对数据库负载优化sudo zfs set primarycachemetadata pgpool/pgdata sudo zfs set logbiasthroughput pgpool/pgdata sudo zfs set syncstandard pgpool/pgdata8.2 PostgreSQL配置优化调整WAL相关参数wal_compression on wal_buffers 16MB checkpoint_timeout 30min max_wal_size 4GB9. 常见问题与解决方案9.1 快照创建失败排查常见原因及解决方法问题现象可能原因解决方案快照创建超时PostgreSQL备份模式未正确退出检查pg_stop_backup()是否执行空间不足ZFS存储池已满清理旧快照或扩容存储池权限问题postgres用户无权限检查目录权限和sudoers配置9.2 恢复后数据库无法启动典型错误排查步骤检查PostgreSQL日志/var/log/postgresql/postgresql-15-main.log验证数据目录权限确保postgres用户有读写权限检查恢复标记文件恢复完成后recovery.conf应自动重命名为recovery.done10. 安全加固建议10.1 备份文件加密使用ZFS原生加密sudo zfs create -o encryptionon -o keyformatpassphrase pgpool/securebackups10.2 网络传输安全配置SSH加密传输sudo -u postgres ssh-keygen -t ed25519 sudo -u postgres ssh-copy-id backupuserbackup-server然后在archive_command中使用SSHarchive_command rsync -az %p backupuserbackup-server:/backups/wal/%f这套方案在我们生产环境运行期间RPO恢复点目标可以达到分钟级RTO恢复时间目标通常在15分钟以内。最关键的是ZFS的快照功能让我们可以快速回滚到任意时间点而不用像传统备份那样需要完整恢复整个数据库。
)
