一键备份脚本backup.sh

技术 秋水逸冰 140379浏览 119评论

做网站最重要的是什么?数据!数据,是网站之本,备份,是每一个站长都应该重视的事情。但同时,备份也是一件繁琐和重复的事情。所以,这些事情,肯定能做到自动化的。
下面来介绍一下这个一键备份脚本 backup.sh。

总结一下 backup.sh 特点:

1、支持 MySQL/MariaDB/Percona 的数据库全量备份或选择备份;
2、支持指定目录或文件的备份;
3、支持加密备份文件(需安装 openssl 命令,可选);
4、支持上传至 Google Drive(需先安装 rclone 并配置,可选);
5、支持在删除指定天数本地旧的备份文件的同时,也删除 Google Drive 上的同名文件(可选)。

2020 年 2 月 8 日更新:
1、修改:替换 gdrive 为 rclone 命令;
2、修改:默认的备份目录为 /opt/backups;
3、新增:3 个参数,RCLONE_NAME , RCLONE_FOLDER 和 RCLONE_FLG,文章里有具体介绍。
2016 年 8 月 21 日更新:
1、新增:指定 MySQL/MariaDB 的数据库名进行备份,可以同时指定多个;
2、新增:删除指定天数本地旧的备份文件。
2016 年 9 月 8 日更新:
1、新增:删除指定天数本地旧的备份文件的同时,可选删除 Google Drive 上的同名文件。
2016 年 11 月 29 日更新:
1、新增:上传备份文件到 FTP 选项;
2、新增:删除指定天数本地旧的备份文件的同时,可选删除 Google Drive 及 FTP 上的同名文件。

教程模式开启:

1、下载该脚本并赋予执行权限

wget --no-check-certificate https://github.com/teddysun/across/raw/master/backup.sh
chmod +x backup.sh

2、修改并配置脚本

请使用 vim 或 nano 等工具来修改。

关于变量名的一些说明:

ENCRYPTFLG (加密FLG,true 为加密,false 为不加密,默认是加密)
BACKUPPASS (加密密码,重要,务必要修改)
LOCALDIR (备份目录,可自己指定)
TEMPDIR (备份目录的临时目录,可自己指定)
LOGFILE (脚本运行产生的日志文件路径)
MYSQL_ROOT_PASSWORD (MySQL/MariaDB/Percona 的 root 用户密码)
MYSQL_DATABASE_NAME (指定 MySQL/MariaDB/Percona 的数据库名,留空则是备份所有数据库)
※ MYSQL_DATABASE_NAME 是一个数组变量,可以指定多个。举例如下:

MYSQL_DATABASE_NAME[0]="phpmyadmin"
MYSQL_DATABASE_NAME[1]="test"

BACKUP (需要备份的指定目录或文件列表,留空就是不备份目录或文件)
※ BACKUP 是一个数组变量,可以指定多个。举例如下:

BACKUP[0]="/data/www/default/test.tgz"
BACKUP[1]="/data/www/default/test/"
BACKUP[2]="/data/www/default/test2/"

LOCALAGEDAILIES (指定多少天之后删除本地旧的备份文件,默认为 7 天)
DELETE_REMOTE_FILE_FLG (删除 Google Drive 或 FTP 上备份文件的 FLG,true 为删除,false 为不删除)
RCLONE_NAME (设置 rclone config 时设定的 remote 名称,务必要指定)
RCLONE_FOLDER (指定备份时设定的 remote 的目录名称,该目录名在 Google Drive 不存在时则会自行创建。默认为空,也就是根目录)
RCLONE_FLG (上传本地备份文件至 Google Drive 的 FLG,true 为上传,false 为不上传)

FTP_FLG (上传文件至 FTP 服务器的 FLG,true 为上传,false 为不上传)
FTP_HOST (连接的 FTP 域名或 IP 地址)
FTP_USER (连接的 FTP 的用户名)
FTP_PASS (连接的 FTP 的用户的密码)
FTP_DIR (连接的 FTP 的远程目录,比如: public_html)

一些注意事项的说明:

1)脚本需要用 root 用户来执行;
2)脚本需要用到 openssl 来加密,请事先安装好;
3)脚本默认备份所有的数据库(全量备份);
4)备份文件的解密命令如下:

openssl enc -aes256 -in [ENCRYPTED BACKUP] -out decrypted_backup.tgz -pass pass:[BACKUPPASS] -d -md sha1

5)备份文件解密后,解压命令如下:

tar -zxPf [DECRYPTION BACKUP FILE]

解释一下参数 -P:
tar 压缩文件默认都是相对路径的。加个 -P 是为了 tar 能以绝对路径压缩文件。因此,解压的时候也要带个 -P 参数。

3、配置 rclone 命令

rclone 是一个命令行工具,用于 Google Drive 的上传下载等操作。官网网站:
https://rclone.org/

你可以用以下的命令来安装 rclone,以 RedHat 系举例,记得要先安装 unzip 命令。

yum -y install unzip && wget -qO- https://rclone.org/install.sh | bash

然后,运行以下命令开始配置:

rclone config

参考这篇文章,当设置到 Use auto config? 是否使用自动配置,选 n 不自动配置,然后根据提示用浏览器打开 rclone 给出的 URL,点击接受(Accept),然后将浏览器上显示出来的字符串粘贴回命令行里,完成授权,然后退出即可。参考文章里有挂载的操作,记得这里不需要挂载 Google Drive。

4、运行脚本开始备份

./backup.sh

脚本默认会显示备份进度,并在最后统计出所需时间。
如果你想将脚本加入到 cron 自动运行的话,就不需要前台显示备份进度,只写日志就可以了。
这个时候你需要稍微改一下脚本中的 log 函数。

log() {
    echo "$(date "+%Y-%m-%d %H:%M:%S")" "$1"
    echo -e "$(date "+%Y-%m-%d %H:%M:%S")" "$1" >> ${LOGFILE}
}

改为:

log() {
    echo -e "$(date "+%Y-%m-%d %H:%M:%S")" "$1" >> ${LOGFILE}
}

关于如何使用 cron 自动备份,网上有一堆教程,这里以 CentOS 6 来举例说明。

修改文件 /etc/crontab,内容如下:

SHELL=/bin/bash
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
MAILTO=root
HOME=/root

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed
30  1  *  *  * root bash /root/backup.sh

以上表示,每天凌晨 1 点 30 分,以 root 用户执行一次 backup.sh 脚本。
注意:
一定要修改其中的 PATH 和 HOME 变量的值。
尤其是 HOME 变量,rclone 命令能否正确执行,是要依赖于其配置文件的。用 root 用户配置的话,其配置文件夹应该是 /root/.config/rclone ,所以要更改 HOME 的值。

最后,欢迎交流和提出意见。

转载请注明:秋水逸冰 » 一键备份脚本backup.sh

发表我的评论
取消评论

请输入正确答案后提交评论 *超出时限。 请再次填写验证码。

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

网友最新评论 (119)

  1. *** WARNING : deprecated key derivation used. Using -iter or -pbkdf2 would be better. ls: cannot access '/root/backups/temp/*.sql': No such file or directory 大佬,如何去除sql': No such file or directory? 提示,脚本可以正常运行 脚本有考虑更新吗
    小白2年前(2022-05-24)回复
    • 第一个是 openssl 的提示,暂时不影响。后面的是当不备份 MySQL 时的错误提示,已经修复不再显示。使用最新的脚本即可。
      秋水逸冰2年前(2022-05-25)回复
  2. 大佬你好 想问下 2021-05-26 22:59:07 Tar backup file start tar: Cowardly refusing to create an empty archive Try 'tar --help' or 'tar --usage' for more information. 2021-05-26 22:59:07 Tar backup file failed 是什么原因 ?
    小学生3年前(2021-05-27)回复
    • 可能是脚本里的备份路径写错了。仔细检查你所定义的地方。
      秋水逸冰3年前(2021-05-28)回复
  3. 你这个加密之后多了.enc,解密不了。怎么解密?
    ooo.ovo.ooo3年前(2021-02-10)回复
    • 注意看文章。有写如何解密的步骤。
      秋水逸冰3年前(2021-02-14)回复
  4. 使用rclone,远程文件夹无需手动创建,不存在会自动创建。建议rclone使用数组以支持同步多个存储(gd、od、oss、etc),fclone也不错。
    CACSS3年前(2021-01-22)回复
  5. 你好,请问这个脚本除了GDrive,还支援OneDrive等其他网盘吗? 谢谢!
    Alfie Suzannes4年前(2020-04-23)回复
    • 脚本调用的是 rclone 命令,因此也是支持的,前提是需要事先设置好才能使用。
      秋水逸冰4年前(2020-04-25)回复
  6. 舊版有個BUG, 如果GOOGLE DRIVE 那裡備份失敗,程式會EXIT 導致自動刪除本機備份檔那裡沒有啓動 長遠來說會塞爆主機
    ZZ4年前(2020-04-17)回复
    • 没错,备份至 Google Drive 失败的话,就会出错并提示然后退出备份过程,导致下面的删除旧备份未能执行,时间一长,如你所说会撑爆硬盘。 所以我修改了脚本,参考 commit:https://github.com/teddysun/lamp/commit/a72ccbfe48069b6b84f0171a1abe2c42beaeef94
      秋水逸冰4年前(2020-04-17)回复
      • 感謝修復!
        ZZ4年前(2020-04-17)回复
  7. 请教大佬 2020-04-05 13:40:59 Backup and transfer completed in 10 seconds 提示这个谷歌硬盘没有收到上传的文件 是我哪一步没做好?
    zhou4年前(2020-04-05)回复
    • 在你没有写明你是如何修改环境变量之前,我是无法知道哪里出了问题的。
      秋水逸冰4年前(2020-04-17)回复
  8. 通过 gdrive about指令的得到验证地址,用google帐号登录后就出现“我们已对此应用暂时停用了“使用 Google 帐号登录” 此应用尚未经过 Google 验证,因此无法使用 Google 登录功能。”。这个是不是凉了?
    小白4年前(2019-11-16)回复
    • 这个 gdrive 貌似已经很久没更新了,估计是已经不兼容 google API 了
      秋水逸冰4年前(2019-11-16)回复
      • 有木有其他的替代方法
        小白4年前(2019-11-16)回复
    • 同样是这个问题,博主方便修一下么
      我本善良4年前(2019-12-27)回复
      • 久等了,今天终于抽空给修复了。
        秋水逸冰4年前(2020-02-08)回复
        • 博主厉害!
          我本善良4年前(2020-02-27)回复
  9. 博主你好,如何让 Windwos Server 支持Linux 命令,以运行这个备份脚本?
    Cloud5年前(2019-10-10)回复
  10. 我想换个google drive怎么弄,授权那里还是原来的邮箱帐号
    我本善良5年前(2019-03-05)回复
  11. 大佬你好,我想问一个问题,当Google Drive容量满了,是不是只需要把Google Drive清空后就可以了,还是说要设置什么地方?谢谢,期待你的回答,因为我删除了还是不能成功上传到Google Drive
    我本善良5年前(2019-03-05)回复
  12. 求助crontab上传失败 提示要授权 但是我已经授权了啊 求助怎么回事?? 详情见图!! https://i.imgur.com/mOYb5tJ.jpg
    zhou5年前(2019-02-21)回复
  13. 2019-02-20 02:51:45 Tranferring backup file to Google Drive Authentication needed Go to the following url in your browser: https://xxxx Enter verification code: Failed reading code: EOF 2019-02-20 02:51:45 Error: Tranferring backup file to Google Drive failed 为什么备份完成上传谷歌还需要验证 我已经验证过了 https://i.imgur.com/jtMvRWx.png
    zhou5年前(2019-02-20)回复
  14. 大佬,我遇到了上传失败的问题。这篇文章给出了解决方案https://www.moerats.com/archives/877/,可否更新一下脚本使用自己的ID和密钥呢。
    12345年前(2019-01-31)回复
  15. 如果出现这个错误 googleapi: Error 403: Rate Limit Exceeded, rateLimitExceeded ,手动用gdrive上传又没有问题。在脚本最后 gdrive_upload 前面加上 sleep 5 就可以了,sleep 可按照备份文件的生成速度调整。个人猜测是脚本执行太快,文件还没生成 gdrive 就开始上传了。
    Tran5年前(2019-01-25)回复
    • sleep 5 gdrive_upload 这样吗?错误 googleapi: Error 403: Rate Limit Exceeded, rateLimitExceeded
      zhou5年前(2019-02-25)回复