一键备份脚本backup.sh

技术 秋水逸冰 141118浏览 119评论

做网站最重要的是什么?数据!数据,是网站之本,备份,是每一个站长都应该重视的事情。但同时,备份也是一件繁琐和重复的事情。所以,这些事情,肯定能做到自动化的。
下面来介绍一下这个一键备份脚本 backup.sh。

总结一下 backup.sh 特点:

1、支持 MySQL/MariaDB/Percona 的数据库全量备份或选择备份;
2、支持指定目录或文件的备份;
3、支持加密备份文件(需安装 openssl 命令,可选);
4、支持上传至 Google Drive(需先安装 rclone 并配置,可选);
5、支持在删除指定天数本地旧的备份文件的同时,也删除 Google Drive 上的同名文件(可选)。

2020 年 2 月 8 日更新:
1、修改:替换 gdrive 为 rclone 命令;
2、修改:默认的备份目录为 /opt/backups;
3、新增:3 个参数,RCLONE_NAME , RCLONE_FOLDER 和 RCLONE_FLG,文章里有具体介绍。
2016 年 8 月 21 日更新:
1、新增:指定 MySQL/MariaDB 的数据库名进行备份,可以同时指定多个;
2、新增:删除指定天数本地旧的备份文件。
2016 年 9 月 8 日更新:
1、新增:删除指定天数本地旧的备份文件的同时,可选删除 Google Drive 上的同名文件。
2016 年 11 月 29 日更新:
1、新增:上传备份文件到 FTP 选项;
2、新增:删除指定天数本地旧的备份文件的同时,可选删除 Google Drive 及 FTP 上的同名文件。

教程模式开启:

1、下载该脚本并赋予执行权限

wget --no-check-certificate https://github.com/teddysun/across/raw/master/backup.sh
chmod +x backup.sh

2、修改并配置脚本

请使用 vim 或 nano 等工具来修改。

关于变量名的一些说明:

ENCRYPTFLG (加密FLG,true 为加密,false 为不加密,默认是加密)
BACKUPPASS (加密密码,重要,务必要修改)
LOCALDIR (备份目录,可自己指定)
TEMPDIR (备份目录的临时目录,可自己指定)
LOGFILE (脚本运行产生的日志文件路径)
MYSQL_ROOT_PASSWORD (MySQL/MariaDB/Percona 的 root 用户密码)
MYSQL_DATABASE_NAME (指定 MySQL/MariaDB/Percona 的数据库名,留空则是备份所有数据库)
※ MYSQL_DATABASE_NAME 是一个数组变量,可以指定多个。举例如下:

MYSQL_DATABASE_NAME[0]="phpmyadmin"
MYSQL_DATABASE_NAME[1]="test"

BACKUP (需要备份的指定目录或文件列表,留空就是不备份目录或文件)
※ BACKUP 是一个数组变量,可以指定多个。举例如下:

BACKUP[0]="/data/www/default/test.tgz"
BACKUP[1]="/data/www/default/test/"
BACKUP[2]="/data/www/default/test2/"

LOCALAGEDAILIES (指定多少天之后删除本地旧的备份文件,默认为 7 天)
DELETE_REMOTE_FILE_FLG (删除 Google Drive 或 FTP 上备份文件的 FLG,true 为删除,false 为不删除)
RCLONE_NAME (设置 rclone config 时设定的 remote 名称,务必要指定)
RCLONE_FOLDER (指定备份时设定的 remote 的目录名称,该目录名在 Google Drive 不存在时则会自行创建。默认为空,也就是根目录)
RCLONE_FLG (上传本地备份文件至 Google Drive 的 FLG,true 为上传,false 为不上传)

FTP_FLG (上传文件至 FTP 服务器的 FLG,true 为上传,false 为不上传)
FTP_HOST (连接的 FTP 域名或 IP 地址)
FTP_USER (连接的 FTP 的用户名)
FTP_PASS (连接的 FTP 的用户的密码)
FTP_DIR (连接的 FTP 的远程目录,比如: public_html)

一些注意事项的说明:

1)脚本需要用 root 用户来执行;
2)脚本需要用到 openssl 来加密,请事先安装好;
3)脚本默认备份所有的数据库(全量备份);
4)备份文件的解密命令如下:

openssl enc -aes256 -in [ENCRYPTED BACKUP] -out decrypted_backup.tgz -pass pass:[BACKUPPASS] -d -md sha1

5)备份文件解密后,解压命令如下:

tar -zxPf [DECRYPTION BACKUP FILE]

解释一下参数 -P:
tar 压缩文件默认都是相对路径的。加个 -P 是为了 tar 能以绝对路径压缩文件。因此,解压的时候也要带个 -P 参数。

3、配置 rclone 命令

rclone 是一个命令行工具,用于 Google Drive 的上传下载等操作。官网网站:
https://rclone.org/

你可以用以下的命令来安装 rclone,以 RedHat 系举例,记得要先安装 unzip 命令。

yum -y install unzip && wget -qO- https://rclone.org/install.sh | bash

然后,运行以下命令开始配置:

rclone config

参考这篇文章,当设置到 Use auto config? 是否使用自动配置,选 n 不自动配置,然后根据提示用浏览器打开 rclone 给出的 URL,点击接受(Accept),然后将浏览器上显示出来的字符串粘贴回命令行里,完成授权,然后退出即可。参考文章里有挂载的操作,记得这里不需要挂载 Google Drive。

4、运行脚本开始备份

./backup.sh

脚本默认会显示备份进度,并在最后统计出所需时间。
如果你想将脚本加入到 cron 自动运行的话,就不需要前台显示备份进度,只写日志就可以了。
这个时候你需要稍微改一下脚本中的 log 函数。

log() {
    echo "$(date "+%Y-%m-%d %H:%M:%S")" "$1"
    echo -e "$(date "+%Y-%m-%d %H:%M:%S")" "$1" >> ${LOGFILE}
}

改为:

log() {
    echo -e "$(date "+%Y-%m-%d %H:%M:%S")" "$1" >> ${LOGFILE}
}

关于如何使用 cron 自动备份,网上有一堆教程,这里以 CentOS 6 来举例说明。

修改文件 /etc/crontab,内容如下:

SHELL=/bin/bash
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
MAILTO=root
HOME=/root

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed
30  1  *  *  * root bash /root/backup.sh

以上表示,每天凌晨 1 点 30 分,以 root 用户执行一次 backup.sh 脚本。
注意:
一定要修改其中的 PATH 和 HOME 变量的值。
尤其是 HOME 变量,rclone 命令能否正确执行,是要依赖于其配置文件的。用 root 用户配置的话,其配置文件夹应该是 /root/.config/rclone ,所以要更改 HOME 的值。

最后,欢迎交流和提出意见。

转载请注明:秋水逸冰 » 一键备份脚本backup.sh

发表我的评论
取消评论

请输入正确答案后提交评论 *超出时限。 请再次填写验证码。

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

网友最新评论 (119)

  1. Failed to upload file: googleapi: Error 403: Rate Limit Exceeded, rateLimitExceeded 2017-10-21 03:00:06 Error: Tranferring backup file to Google Drive failed 报错信息 crontab配置问题吗?是按照文中所说编辑的/etc/crontab
    我辈博客7年前(2017-10-21)回复
    • 原因并不是来自于脚本。错误信息:Rate Limit Exceeded, rateLimitExceeded 难道是 Google Drive 容量不足造成的?
      秋水逸冰7年前(2017-10-21)回复
      • 也不是...因为我手动bash backup.sh就可以成功上传网盘。只有在crontab配置自动执行时才会出现这个报错。 /etc/crontab的具体内容是 SHELL=/bin/bash PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin MAILTO=root HOME=/root 用crontab -e添加的 0 12 * * * bash /root/backup.sh
        我辈博客7年前(2017-10-21)回复
      • 通过crontab -e编辑添加 SHELL=/bin/bash PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin MAILTO=root HOME=/root 0 3 * * * cd /root && ./backup.sh 后解决了,感谢~
        我辈博客7年前(2017-10-21)回复
  2. gdrive是挂载谷歌硬盘吗?如果是它的文件目录是哪个? 如果不是,怎么挂载谷歌硬盘?Debian-8-64
    ilygo7年前(2017-09-01)回复
    • 不是挂载。是 gdrive 通过 API 上传数据。
      秋水逸冰7年前(2017-09-02)回复
      • aria2的下载目录设置成Google网盘就能实现Google网盘的离线下载.现在就差怎么挂载了? 中文网站搜索不到Debian-8-64bit挂载谷歌硬盘的教程,特地来此地,望技术大牛多多指点。
        ilygo7年前(2017-09-02)回复
  3. 真是脚本高手!非常好用!
    hao7年前(2017-08-19)回复
  4. 前辈您好,我还是个菜鸟,还在读大学,博客刚刚才开,出于需要转载了您几篇重要的文章以作备用并已注明您的署名。谢谢。
    Terry7年前(2017-08-06)回复
  5. MYSQL5.7。备份脚本报“MySQL root password is incorrect. Please check it and try again”。 密码绝对是正确的,我自己命令行运行mysql -u root -p“xxx” 无法登录,还是要手动输入密码。但是把双引号改为单引号mysql -u root -p‘xxx’就可以。于是我把脚本里面这句话改为单引号,结果还是不行同样的错。请教一下为什么。
    emem7年前(2017-07-27)回复
    • -p 之后不要加引号,直接输入密码即可。
      秋水逸冰7年前(2017-07-27)回复
  6. 必须要安装mysql才能备份么。??我没用MySQL的,,
    卖女孩的小火柴7年前(2017-06-09)回复
    • 不需要啊,你可以稍微改一下就能用了。 BINARIES=( cat cd du date dirname echo openssl mysql mysqldump pwd rm tar ) 这行改为:BINARIES=( cat cd du date dirname echo openssl pwd rm tar ) 然后,变量 MYSQL_ROOT_PASSWORD 留空不填即可。
      秋水逸冰7年前(2017-06-12)回复
      • QWQ吼的
        卖女孩的小火柴7年前(2017-06-20)回复
  7. 找了好几哥Gdrive教程都不吼,没事看了以下秋大的博客,发现也有这个,很吼用一下子OK了,感谢秋大
    卖女孩的小火柴7年前(2017-06-08)回复
  8. 秋水老大 密码忘了 是不是提示 bad decrypt 139651602831176:error:06065064:digital envelope routines:EVP_DecryptFinal_ex:bad decrypt:evp_enc.c:603: 这种错误 还能解决吗
    阿三7年前(2017-05-28)回复
    • 密码忘了就无法解密和恢复,但该密码在脚本里可以看得到的,打开脚本看一看 BACKUPPASS 的值。
      秋水逸冰7年前(2017-05-28)回复
  9. 请问 脚本的 log 函数在哪里修改呢?
    三叔7年前(2017-03-11)回复
  10. 可以指定备份到GOOGLE DRIVE的哪个目录吗?现在备份到根目录有点乱哦
    leo7年前(2017-03-07)回复
  11. 可以不压缩直接整个文件夹备份上传吗?
    leo7年前(2017-03-07)回复
  12. 能不能加入百度盘支持,使用 https://github.com/GangZhuo/BaiduPCS 工具。和gdrive一样方便。
    Qa7年前(2017-02-02)回复
    • crontab执行总是报错 2017-02-03 19:30:01 Backup progress start 2017-02-03 19:30:01 mysql is not installed. Install it and try again 按文中改了变量还是不行。
      Qa7年前(2017-02-03)回复
      • mysql 命令在系统 PATH 中找不到,所以脚本认为没有安装 mysql。 which mysql 如果系统 PATH 正确指定的话,这个命令一般有结果显示。
        秋水逸冰7年前(2017-02-06)回复
    • 这个工具并不是通过 API 来操作百度网盘,登录可能需要输入验证码。这就没办法自动化处理了。 自己编译来用用还是可以的。
      秋水逸冰7年前(2017-02-06)回复
      • 不好意思,贵站好像没有邮件提醒。给忘了。 [root@204053 ~]# which mysql /usr/local/mysql/bin/mysql 能正确显示路径,但我无法在crontab里定时次脚本。 BaiduPCS挺好用的,和gdrive一样。登录一次就够了。我将BaiduPCS加入到脚本上传很成功。反正度盘容量也大,就不用删除了。
        Qa7年前(2017-02-19)回复
        • crond 定时脚本也要对 PATH 进行定义才行。
          秋水逸冰7年前(2017-02-22)回复
          • 我把crontab 的path修改的和系统的一样,还是mysql找不到。。。
            Qa7年前(2017-03-17)回复
          • 我尝试在crontab命令前加上. /etc/profile,成功执行数据库导出。但是tar打包又失败了。。。 完整的crontab里的命令. /etc/profile;cd /root;./backup.sh > /dev/null 2>&1 &
            Qa7年前(2017-03-17)回复
          • 问题解决了,在脚本开头加入. /etc/profile回车. ~/.bash_profile,打包失败是因为我用的7za命令。没有声明环境变量。
            Qa7年前(2017-03-17)回复
  13. 请问支持增量备份吗?网站文件每天会产生很多图片文件,整个打包太消耗资源了。
    Qa7年前(2017-01-22)回复
  14. 可以自定义备份文件名 和 自定义备份到Google Drive的路径么? 不然Google Drive看起来有点乱
    Demo7年前(2017-01-12)回复
    • 上传到 Google Drive 时,没法改路径,只能传到其根目录,否则我早就改了。
      秋水逸冰7年前(2017-01-13)回复
      • 可以改路径的,加一个-p的参数,后面跟上gdrive list 获得的目录ID
        sword7年前(2017-02-23)回复
        • 感謝,照你的方法,成功上傳到子目錄了
          ZZ7年前(2017-10-04)回复
  15. 请问如何删除google drive的备份文件? DELETE_REMOTE_FILE_FLG 是这个选项吗?
    ga7年前(2017-01-04)回复
    • 是的。设置值为 true
      秋水逸冰7年前(2017-01-04)回复
      • 明白谢谢 想再问多1个问题 删除google drive的备份文件 DELETE_REMOTE_FILE_FLG选项是不是只能删除加密FLG 如果我选不加密 是不是就不能在google drive删除备份文件?
        ga7年前(2017-01-05)回复
        • 删除备份文件,与加密不加密没关系。
          秋水逸冰7年前(2017-01-05)回复