博客之前一直采用的是本地备份方式,如果本地硬盘故障了那么数据也就都没了。在偶然的一天看了张戈博客的文章《Python+shell脚本结合阿里云OSS对象存储定时远程备份网站》,阿里云ECS到阿里云OSS可以走内网,正好我也是用的阿里云ECS,因为于是就开始折腾。
一.OSS配置
1. 登录阿里云控制台
开通OSS,然后新建一个Bucket(名称自定义),注意选择ECS相同的区域(比如青岛的ECS我就选择华北1),并且选择私有读写权限
2. 创建认证秘钥
3. 开始授权
4. 创建得到的密钥最好保存一份,如果忘记了可以到《控制台》查找。
二.SDK脚本
SDK脚本可以参考OSS帮助文档,根据自己熟悉的语言选择。我这边使用的是Python SDK。
1. 安装SDK
OSS的Python SDK需要用到oss2插件,如果服务器上已经安装了pip工具,可直接执行如下命令安装oss2插件
$ pip install oss2
如果服务器没有pip工具则需要先安装,再安装oss2
$ yum install python-pip -y
验证oss版本
$ python >>> import oss2 >>> oss2.__version__ '2.2.2'
上面的输出表明您已经成功安装了特定版本的Python SDK(这里以版本2.2.2为例)。
2. 上传脚本
官方代码请参考Python SDK
下面是我自己使用的上传脚本
# -*- coding: utf-8 -*- from __future__ import print_function import os, sys import oss2 #输入AccessKeyId和AccessKeySecret auth = oss2.Auth('<AccessKeyId>', '<AccessKeySecret>') #输入Endpoint和Bucket名 bucket = oss2.Bucket(auth, '<Endpoint>', '<Bucket名>') #本地文件路径 filePath = sys.argv[1] #传到OSS上的名称 fileName = filePath.split("/")[-1] #上传进度条 def percentage(consumed_bytes, total_bytes): if total_bytes: rate = int(100 * (float(consumed_bytes) / float(total_bytes))) print('\r{0}% '.format(rate), end='') sys.stdout.flush() #上传文件 bucket.put_object(fileName, filePath, progress_callback=percentage) print('\rUpload to OSS Success!')
使用方法:将上述代码保存为 upload.py,并上传到服务器/usr/local/bin下,执行如下命令可开始上传文件到OSS
$ python /usr/local/bin/upload.py yangfannie.tar.gz /cache1/backup/yangfannie.com_3.tar.gz #提示Upload to OSS Success!即上传成功
在OSS的Object界面就可以看到刚上传的文件了
三 定时备份
这边用shell写的7天循环备份脚本
#!/bin/bash
test -f /etc/profile && . /etc/profile > /dev/null 2>&1
#获取脚本所在的目录
baseDir=$(cd $(dirname $0) && pwd)
#获取zip版本,如果没有则安装
zip --version > /dev/null || yum install -y zip
#获取下面的命令执行的位置
ZIP=$(which zip)
PYTHON=$(which python)
mysqlDUMP=$(which mysqldump)
#获取星期几
TODAY=`date +%u`
# OSS上传文件函数
uploadToOSS()
{
$PYTHON $baseDir/upload.py $1
}
#7天循环备份DB脚本
backupDB()
{
domain=$1
dbname=$2
mysqluser=$3
mysqlpd=$4
back_path=$5
test -d $back_path || (mkdir -p $back_path || echo "$back_path not found!" && exit 2)
cd $back_path
$MYSQLDUMP -u$mysqluser -p$mysqlpd $dbname --skip-lock-tables --default-character-set=binary >$back_path/$domain\_db_$TODAY\.sql
test -f $back_path/$domain\_db_$TODAY\.sql || (echo "MysqlDump failed!" && exit 2)
#ZIP压缩,密码为12345678,密码可自行修改
$ZIP -P12345678 -m $back_path/$domain\_db_$TODAY\.zip $domain\_db_$TODAY\.sql && \
#上传到OSS
uploadToOSS $back_path/$domain\_db_$TODAY\.zip
}
#7天循环备份网站脚本
backupFile()
{
domain=$1
site_path=$2
back_path=$3
test -d $site_path || (echo "$site_path not found!" && exit 2)
test -d $back_path || (mkdir -p $back_path || echo "$back_path not found!" && exit 2)
test -f $back_path/$domain\_$TODAY\.zip && rm -f $back_path/$domain\_$TODAY\.zip
$ZIP -P1234qaz! -9r $back_path/$domain\_$TODAY\.zip $site_path && \
uploadToOSS $back_path/$domain\_$TODAY\.zip
}
while [ $1 ]; do
case $1 in
'--db' | 'db' )
backupDB $2 $3 $4 $5 $6
exit
;;
'--site' | 'site' )
backupFile $2 $3 $4
exit
;;
esac
done
执行命令:
#赋予脚本执行权限
$ chmod +x /usr/local/bin/backup.sh
#备份DB并上传OSS(参数依次为:db、域名、数据库名称、数据库用户名、对应密码、备份路径)
$ /usr/local/bin/backup.sh db yangfannie.com yangfannie root 12345678 /cache1/backup
#备份网站并上传OSS(参数依次为:site、域名、网站根目录、备份路径)
$ /usr/local/bin/backup.sh site yangfannie.com /home/www/yangfannie.com/ /cache1/backup/
最后把命令加到排程去定时执行即可
0 4 * * * /usr/local/bin/backup.sh site yangfannie.com /home/www/yangfannie.com/ /cache1/backup/ >/dev/null 2>&1
0 5 * * * /usr/local/bin/backup.sh db yangfannie.com yangfannie root 12345678 /cache1/backup >/dev/null 2>&1
四. Q&A
1. ErrorCode: AccessDenied ErrorMessage: You have no right to access this object because of bucket acl.
原因:子用户/临时用户没有访问Object的权限
解决办法:辨别密钥是主用户、子用户还是临时用户的。需要用主用户的AccessKeyID。
临时的用户的密钥的AccessKeyID,以STS开头比较好辨认,如“STS.MpsSonrqGM8bGjR6CRKNMoHXe”。
主用户的密钥,需要到[控制台](https://ak-console.aliyun.com/?spm=5176.doc42777.2.8.M3gaJe) 查看AccessKeyID是否存在,如果存在说明是主用户;如果不存在,该用户是子用户。
子用户的秘钥在 访问控制 > 用户管理 > 管理 > 用户详情 > 用户AccessKey,查看子用户的AccessKeyID,并找到对应的子用户。
赞赏微信赞赏
支付宝赞赏