Xtrabackup备份恢复原理是什么

网友投稿 383 2023-12-24

Xtrabackup备份恢复原理是什么

这篇文章给大家介绍Xtrabackup备份恢复原理是什么，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。

Xtrabackup备份恢复原理是什么

一、Xtrabackup备份恢复原理

备份innodb表时，xtrabackup若干个线程拷贝独立表空间的.ibd文件，并不停监视此过程中redo log的变化，添加到自己的事务日志文件（xtrabackup_logfile）中。在此过程中，发生的

物理写操作越多，xtrabackup_logfile越大。在拷贝完成后的第一个prepare阶段，xtrabackup采用类似于innodb崩溃恢复的方法，把数据文件恢复到与日志文件一致的状态，并把未提交的事

务回滚。如果同时需要备份myisam表以及innodb表结构等文件，那么就需要用flush tables with lock来获得全局锁，开始拷贝这些不再变化的文件，同时获得binlog位置，拷贝结束后释放锁，

也停止对redo log的监视。

很多同学对上面的理解有混淆，以为拷贝.ibd文件就跟操作系统拷贝文件一样。其实这里涉及到fractured page的问题，他应该会重新读取（应该也有重试次数，超过后备份不成功）。

其实这个原理很简单，了解下doublewrite就可以理解了“本段摘录自《MySQL技术内幕：InnoDB存储引擎》”：

如果说插入缓冲带给InnoDB存储引擎的是性能，那么两次写带给InnoDB存储引擎的是数据的可靠性。当数据库宕机时，可能发生数据库正在写一个页面，而这个页只写了一部分（比如16K的

页，只写前4K的页）的情况，我们称之为部分写失效（partial page write）。在InnoDB存储引擎未使用double write技术前，曾出现过因为部分写失效而导致数据丢失的情况。

有人也许会想，如果发生写失效，可以通过重做日志进行恢复。这是一个办法。但是必须清楚的是，重做日志中记录的是对页的物理操作，如偏移量800，写“aaaa”记录。如果这个页本身

已经损坏，再对其进行重做是没有意义的。这就是说，在应用（apply）重做日志前，我们需要一个页的副本，当写入失效发生时，先通过页的副本来还原该页，再进行重做，这就是doublewrite。

二、备份脚本

#!/bin/sh

#===================================================================================================

## 备份工具：

## percona-xtrabackup-2.2.6

## 备份策略：

## (1)、每天凌晨04:20点进行全量备份一次；

## (2)、每隔1小时增量备份一次；

#===================================================================================================

PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin

## DB备份基路径

BACKUP_BASE_DIR="/data/mysql_backup"

## 增量备份时，用到的基准目录列表文件

## 内容格式：基准目录|本次备份目录|备份类型【full|inc】

INC_BASE_LIST="${BACKUP_BASE_DIR}/incremental_basedir_list.txt"

## 备份工具路径

XTRABACKUP_PATH="/usr/local/xtrabackup/bin/innobackupex"

## MySQL配置路径

MYSQL_CNF_PATH="/etc/my-f"

## 线程数

THREAD_CNT=6

#===================================================================================================

function print_help_info()

{

echo "--------------------------------------------------------------"

echo "Usage: $0 full | inc | help"

echo "--------------------------------------------------------------"

echo ""

exit 1

}

[[ $# -lt 1 ]] && print_help_info

[[ -d ${BACKUP_BASE_DIR} ]] || mkdir -p ${BACKUP_BASE_DIR}

## xtrabackup基础套件不存在时，进行自动-安装

if [[ ! -e ${XTRABACKUP_PATH} ]]; then

cd /usr/local

wget -q -O xtrabackup-2.2.6.tgz http://www.percona.com/redir/downloads/XtraBackup/LATEST/binary/tarball/percona-xtrabackup-2.2.6-5042-Linux-x86_64.tar.gz

tar xvzf xtrabackup-2.2.6.tgz >/dev/null 2>&1 && rm -f xtrabackup-2.2.6.tgz

mv percona-xtrabackup-2.2.6-Linux-x86_64 xtrabackup-2.2.6

rm -rf xtrabackup && ln -s xtrabackup-2.2.6 xtrabackup

for FNAME in `ls -1t /usr/local/xtrabackup/bin`

rm -f /usr/bin/${FNAME} && ln -s /usr/local/xtrabackup/bin/${FNAME} /usr/bin/${FNAME}

done

## 只允许一个副本运行，以避免全量备份与增量备份出现交叉，发生数据错乱的可能性

##[[ -n `ps uax | grep innobackupex | grep -v grep` ]] && exit 1

## 目录名默认精确到分钟，为避免意外情况，导致备份任务失败，可以精确到秒

CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M`

[[ -d ${CURRENT_BAK_PATH} ]] && CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M-%S`

#===================================================================================================

## 全量备份

if [[ "$1" == "full" ]]; then

${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}

echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

## 增量备份

elif [[ "$1" == "inc" ]]; then

## 基准目录列表文件不存在或者为空的情况，需要做一次全量备份

if [[ ! -f ${INC_BASE_LIST} || `sed /^$/d ${INC_BASE_LIST} | wc -l` -eq 0 ]]; then

${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}

echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

## 不存在任何目录的情况，需要做一次全量备份，以避免增量备份失败

elif [[ `find ${BACKUP_BASE_DIR} -maxdepth 1 -type d | wc -l` -eq 1 ]]; then

${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}

echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

## 在上一次备份的基础上，进行增量备份

else

PREV_BACKUP_DIR=`sed /^$/d ${INC_BASE_LIST} | tail -1 | awk -F | {print $2}`

## 上次的备份目录不存在或者目录为空的情况，以避免人为删除的可能性【针对部分恶意删除的情况，目前还没有较好的检查方法】

if [[ ! -d ${PREV_BACKUP_DIR} || -z `ls ${PREV_BACKUP_DIR}` ]]; then

${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}

echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

else

${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp --incremental ${CURRENT_BAK_PATH} --incremental-basedir=${PREV_BACKUP_DIR}

echo "${PREV_BACKUP_DIR}|${CURRENT_BAK_PATH}|inc" >> ${INC_BASE_LIST}

elif [[ "$1" == "help" ]]; then

print_help_info

else

print_help_info

## 删除2周前的数据备份

rm -rf ${BACKUP_BASE_DIR}/`date -d 14 days ago +%F`_*

sed -i "/`date -d 14 days ago +%F`/d" ${INC_BASE_LIST}

#===================================================================================================

##The End

####################################################################################################

## 需要添加的crontab信息：

## (1)、全量备份

## 20 04 * * * /data/scripts/mysql_backup.sh full >/dev/null 2>&1

## (2)、增量备份

## 00 * * * * /data/scripts/mysql_backup.sh inc >/dev/null 2>&1

####################################################################################################

## DB数据恢复步骤：

## (1)、应用基准

## innobackupex --user=root --defaults-file=/etc/my-f --use-memory=8G --apply-log --redo-only /data/mysql_backup/full

## (2)、应用第一个增量备份

## innobackupex --user=root --defaults-file=/etc/my-f --use-memory=8G --apply-log --redo-only /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_one

## (3)、应用第二个增量备份

## innobackupex --user=root --defaults-file=/etc/my-f --use-memory=8G --apply-log /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_two

## (4)、再次应用基准

## innobackupex --user=root --defaults-file=/etc/my-f --use-memory=8G --apply-log /data/mysql_backup/full

## (5)、恢复

## innobackupex --user=root --defaults-file=/etc/my-f --copy-back /data/mysql_backup/full

####################################################################################################

三、效果展示

# cat mysql_backup.sh

#!/bin/sh

#===================================================================================================

## 备份工具：

## percona-xtrabackup-2.2.6

## 备份策略：

## (1)、每天凌晨04:20点进行全量备份一次；

## (2)、每隔1小时增量备份一次；

#===================================================================================================

PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin

## DB备份基路径

BACKUP_BASE_DIR="/data/mysql_backup"

## 增量备份时，用到的基准目录列表文件

## 内容格式：基准目录|本次备份目录|备份类型【full|inc】

INC_BASE_LIST="${BACKUP_BASE_DIR}/incremental_basedir_list.txt"

## 备份工具路径

XTRABACKUP_PATH="/usr/local/xtrabackup/bin/innobackupex"

## MySQL配置路径

MYSQL_CNF_PATH="/etc/my-f"

## 线程数

THREAD_CNT=6

#===================================================================================================

function print_help_info()

{

echo "--------------------------------------------------------------"

echo "Usage: $0 full | inc | help"

echo "--------------------------------------------------------------"

echo ""

exit 1

}

[[ $# -lt 1 ]] && print_help_info

[[ -d ${BACKUP_BASE_DIR} ]] || mkdir -p ${BACKUP_BASE_DIR}

## xtrabackup基础套件不存在时，进行自动-安装

if [[ ! -e ${XTRABACKUP_PATH} ]]; then

cd /usr/local

wget -q -O xtrabackup-2.2.6.tgz http://www.percona.com/redir/downloads/XtraBackup/LATEST/binary/tarball/percona-xtrabackup-2.2.6-5042-Linux-x86_64.tar.gz

tar xvzf xtrabackup-2.2.6.tgz >/dev/null 2>&1 && rm -f xtrabackup-2.2.6.tgz

mv percona-xtrabackup-2.2.6-Linux-x86_64 xtrabackup-2.2.6

rm -rf xtrabackup && ln -s xtrabackup-2.2.6 xtrabackup

for FNAME in `ls -1t /usr/local/xtrabackup/bin`

rm -f /usr/bin/${FNAME} && ln -s /usr/local/xtrabackup/bin/${FNAME} /usr/bin/${FNAME}

done

## 只允许一个副本运行，以避免全量备份与增量备份出现交叉，发生数据错乱的可能性

##[[ -n `ps uax | grep innobackupex | grep -v grep` ]] && exit 1

## 目录名默认精确到分钟，为避免意外情况，导致备份任务失败，可以精确到秒

CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M`

[[ -d ${CURRENT_BAK_PATH} ]] && CURRENT_BAK_PATH="${BACKUP_BASE_DIR}/"`date +%F_%H-%M-%S`

#===================================================================================================

## 全量备份

if [[ "$1" == "full" ]]; then

${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}

echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

## 增量备份

elif [[ "$1" == "inc" ]]; then

## 基准目录列表文件不存在或者为空的情况，需要做一次全量备份

if [[ ! -f ${INC_BASE_LIST} || `sed /^$/d ${INC_BASE_LIST} | wc -l` -eq 0 ]]; then

${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}

echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

## 不存在任何目录的情况，需要做一次全量备份，以避免增量备份失败

elif [[ `find ${BACKUP_BASE_DIR} -maxdepth 1 -type d | wc -l` -eq 1 ]]; then

${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}

echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

## 在上一次备份的基础上，进行增量备份

else

PREV_BACKUP_DIR=`sed /^$/d ${INC_BASE_LIST} | tail -1 | awk -F | {print $2}`

## 上次的备份目录不存在或者目录为空的情况，以避免人为删除的可能性【针对部分恶意删除的情况，目前还没有较好的检查方法】

if [[ ! -d ${PREV_BACKUP_DIR} || -z `ls ${PREV_BACKUP_DIR}` ]]; then

${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp ${CURRENT_BAK_PATH}

echo "NULL|${CURRENT_BAK_PATH}|full" >> ${INC_BASE_LIST}

else

${XTRABACKUP_PATH} --user=root --defaults-file=${MYSQL_CNF_PATH} --parallel=${THREAD_CNT} --no-timestamp --incremental ${CURRENT_BAK_PATH} --incremental-basedir=${PREV_BACKUP_DIR}

echo "${PREV_BACKUP_DIR}|${CURRENT_BAK_PATH}|inc" >> ${INC_BASE_LIST}

elif [[ "$1" == "help" ]]; then

print_help_info

else

print_help_info

## 删除2周前的数据备份

rm -rf ${BACKUP_BASE_DIR}/`date -d 14 days ago +%F`_*

sed -i "/`date -d 14 days ago +%F`/d" ${INC_BASE_LIST}

#===================================================================================================

##The End

## 需要添加的crontab信息：

## (1)、全量备份

## 20 04 * * * /data/scripts/mysql_backup.sh full >/dev/null 2>&1

## (2)、增量备份

## 00 * * * * /data/scripts/mysql_backup.sh inc >/dev/null 2>&1

## DB数据恢复步骤：

## (1)、应用基准

## innobackupex --user=root --defaults-file=/etc/my-f --use-memory=8G --apply-log --redo-only /data/mysql_backup/full

## (2)、应用第一个增量备份

## innobackupex --user=root --defaults-file=/etc/my-f --use-memory=8G --apply-log --redo-only /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_one

## (3)、应用第二个增量备份

## innobackupex --user=root --defaults-file=/etc/my-f --use-memory=8G --apply-log /data/mysql_backup/full --incremental-dir=/data/mysql_backup/inc_two

## (4)、再次应用基准

## innobackupex --user=root --defaults-file=/etc/my-f --use-memory=8G --apply-log /data/mysql_backup/full

## (5)、恢复

## innobackupex --user=root --defaults-file=/etc/my-f --copy-back /data/mysql_backup/full

关于Xtrabackup备份恢复原理是什么就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。

标签：root 方法配置数据

暂时没有评论，来抢沙发吧~

Xtrabackup备份恢复原理是什么

Xtrabackup备份恢复原理是什么

企业如何通过vue小程序开发满足高效运营与合规性需求

react 前端框架如何驱动企业数字化转型与创新发展

微前端架构如何改变企业的开发模式与效率提升

最近发表

更多内容

小程序SDK

Finclip技术文档

小程序开发

小程序容器

小程序框架

Finclip小程序平台

Finclip用户投稿

车联网

推荐文章

小程序SDK是什么意思？小程序sdk和插件有什么区别？

小程序支付功能怎么实现？

企业app开发流程是什么？

app运营模式有哪些？

小程序多端引流怎么做？

小程序生态分析的机会和威胁

Flutter入门这一篇效率文章就够了

原生与跨平台解决方案分析,跨平台软件开发技术方案

热更新技术：让软件更新变得更加轻松快速

解决方案

银行解决方案

证券解决方案

互联网解决方案

政企OA解决方案

科技解决方案

loT解决方案

信任解决方案

热评文章

AppCan:基于混合模式的移动应用开发,移动混合模

Hybrid App混合模式开发的了解

小程序容器技术助力券商数字营销突围，小程序容器化的意

用mpvue开发微信小程序基础知识（vue.js开发

小程序多端框架全面测评对比，强烈推荐！

券商app架构 - 解析券商应用程序的构建与设计