稳中带皮

廖雪峰的python教程web实战学习笔记day15

vvipi

发表于2018年11月1日,阅读：5583

服务器选择了Ubuntu Server 16.04.1 LTS 64位系统，被教程下面评论中一位老哥坑惨了，说要安装python3.6，结果折腾了一个晚上新坑不断，最后还是用python3.5部署成功。 #### 创建目录 ``` cd /srv sudo mkdir awesome cd awesome sudo mkdir log sudo chown -R www-data:www-data log ``` #### 安装/更新openssh-server `sudo apt-get install openssh-server` #### 安装python3、supervisor、nginx、 mysql-server等 ``` sudo apt-get update sudo apt-get install nginx supervisor python3 libssl-dev mysql-server ``` 这里廖老师没有提到libssl-dev，但是需要安装，否则出现`openssl/opensslv.h: no such file or directory`错误。 #### 设置pip ``` sudo apt-get install python3-pip sudo apt-get install python-pip ``` #### 安装jinja2 aiomysql aiohttp `pip3 install jinja2 aiomysql aiohttp` #### 初始化MySQL数据库 `mysql -u root -p < schema.sql` #### 配置Supervisor 直接按廖老师的方法，编写一个Supervisor的配置文件awesome.conf，存放到/etc/supervisor/conf.d/目录下： ``` [program:awesome] command = /srv/awesome/www/app.py directory = /srv/awesome/www user = www-data startsecs = 3 redirect_stderr = true stdout_logfile_maxbytes = 50MB stdout_logfile_backups = 10 stdout_logfile = /srv/awesome/log/app.log ``` #### 配置Nginx 这步又坑了我半天，`/etc/nginx/sites-available/`下有个default文件，添加新配置awesome并不会生效。因此直接修改default文件，复制廖老师的配置 ``` server { listen 80; # 监听80端口 root /srv/awesome/www; access_log /srv/awesome/log/access_log; error_log /srv/awesome/log/error_log; # server_name awesome.liaoxuefeng.com; # 配置域名 # 处理静态文件/favicon.ico: location /favicon.ico { root /srv/awesome/www; } # 处理静态资源: location ~ ^\/static\/.*$ { root /srv/awesome/www; } # 动态请求转发到9000端口: location / { proxy_pass http://127.0.0.1:9000; proxy_set_header X-Real-IP $remote_addr; proxy_set_header Host $host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } } ``` 然后在`/etc/nginx/sites-enabled/`目录下的软链接也不用改了，默认有个default。 #### ntfabfile 教程中的fabfile应该是mac环境的，我改了个windows环境的ntfabfile，python3环境，需要安装fabric3. `pip install fabric3` ``` # -*- coding: utf-8 -*- ''' Deployment toolkit in windows envirement. ''' import os, re, tarfile from datetime import datetime from fabric.api import * env.user = 'user' env.sudo_user = 'root' # env.hosts = ['123.123.123.123'] env.host_string = '123.123.123.123' # 改成你的服务器ip db_user = 'www-data' db_password = 'www-data' _TAR_FILE = 'dist-awesome.tar.gz' _REMOTE_TMP_TAR = '/tmp/%s' % _TAR_FILE _REMOTE_BASE_DIR = '/srv/awesome' def _current_path(): return os.path.abspath('.') def _now(): return datetime.now().strftime('%y-%m-%d_%H.%M.%S') def build(): # includes = ['static', 'templates', 'transwarp', 'favicon.ico', '*.py'] # excludes = ['test', '.*', '*.pyc', '*.pyo'] local('del dist\\%s' % _TAR_FILE) # 删除旧压缩包 tar = tarfile.open("dist/%s" % _TAR_FILE,"w:gz") # 创建新压缩包 for root,_dir,files in os.walk("www/"): # 打包www文件夹 for f in files: if not (('.pyc' in f) or ('.pyo' in f)): # 排除开发过程调试产生的文件，为了简单点实现，此处没有完全照搬廖老师的参数 fullpath = os.path.join(root,f) tar.add(fullpath) tar.close() def deploy(): newdir = 'www-%s' % _now() run('rm -f %s' % _REMOTE_TMP_TAR) put('dist/%s' % _TAR_FILE, _REMOTE_TMP_TAR) with cd(_REMOTE_BASE_DIR): sudo('mkdir %s' % newdir) with cd('%s/%s' % (_REMOTE_BASE_DIR, newdir)): sudo('tar -xzvf %s' % _REMOTE_TMP_TAR) # 解压 sudo('mv www/* .') # 解压后多一层www文件夹，因此向上移动一层 sudo('rm -rf www') # 删除空文件夹www sudo('dos2unix app.py') # 解决windows和linux行尾换行不同问题 sudo('chmod a+x app.py') # 使app.py可直接执行 with cd(_REMOTE_BASE_DIR): sudo('rm -f www') # 删除旧软链接 sudo('ln -s %s www' % newdir) # 创建新链接 sudo('chown user:user www') # user改为你的linux服务器上的用户名 sudo('chown -R user:user %s' % newdir) # 同上 with settings(warn_only=True): sudo('supervisorctl stop awesome') # supervisor重启app sudo('supervisorctl start awesome') sudo('/etc/init.d/nginx reload') # nginx重启 RE_FILES = re.compile('\r?\n') def rollback(): ''' rollback to previous version ''' with cd(_REMOTE_BASE_DIR): r = run('ls -p -1') files = [s[:-1] for s in RE_FILES.split(r) if s.startswith('www-') and s.endswith('/')] files.sort(reverse=True) r = run('ls -l www') ss = r.split(' -> ') if len(ss) != 2: print('ERROR: \'www\' is not a symbol link.') return current = ss[1] print('Found current symbol link points to: %s\n' % current) try: index = files.index(current) except ValueError as e: print('ERROR: symbol link is invalid.') return if len(files) == index + 1: print('ERROR: already the oldest version.') old = files[index + 1] print('==================================================') for f in files: if f == current: print(' Current ---> %s' % current) elif f == old: print(' Rollback to ---> %s' % old) else: print(' %s' % f) print('==================================================') print('') yn = input ('continue? y/N ') if yn != 'y' and yn != 'Y': print('Rollback cancelled.') return print('Start rollback...') sudo('rm -f www') sudo('ln -s %s www' % old) sudo('chown www-data:www-data www') with settings(warn_only=True): sudo('supervisorctl stop awesome') sudo('supervisorctl start awesome') sudo('/etc/init.d/nginx reload') print('ROLLBACKED OK.') def backup(): ''' Dump entire database on server and backup to local. ''' dt = _now() f = 'backup-awesome-%s.sql' % dt with cd('/tmp'): run('mysqldump --user=%s --password=%s --skip-opt --add-drop-table --default-character-set=utf8 --quick awesome > %s' % (db_user, db_password, f)) run('tar -czvf %s.tar.gz %s' % (f, f)) get('%s.tar.gz' % f, '%s/backup/' % _current_path()) run('rm -f %s' % f) run('rm -f %s.tar.gz' % f) def restore2local(): ''' Restore db to local ''' backup_dir = os.path.join(_current_path(), 'backup') fs = os.listdir(backup_dir) files = [f for f in fs if f.startswith('backup-') and f.endswith('.sql.tar.gz')] # 获取备份文件列表 files.sort(reverse = True) # 最近的文件排在前面 if len(files)==0: print('No backup files found.') return print('Found %s backup files:' % len(files)) print('==================================================') n = 0 for f in files: print('%s: %s' % (n, f)) n = n + 1 print('==================================================') print('') try: num = int(input ('Restore file: ')) # 选择恢复哪个备份 except ValueError: print('Invalid file number.') return restore_file = files[num] yn = input('Restore file %s: %s? y/N ' % (num, restore_file)) # 确定开始恢复 if yn != 'y' and yn != 'Y': print('Restore cancelled.') return print('Start restore to local database...') p = input('Input mysql root password: ') sqls = [ 'drop database if exists awesome;', 'create database awesome;', 'alter database awesome default character set utf8 collate utf8_general_ci;' # 修改为utf8字符集 'grant select, insert, update, delete on awesome.* to \'%s\'@\'localhost\' identified by \'%s\';' % (db_user, db_password) ] for sql in sqls: local(r'mysql -uroot -p%s -e "%s"' % (p, sql)) # 删除旧数据库，新建数据库，授权给用户 extract('backup\\%s' % restore_file, 'backup\\') # 解压 with lcd('backup'): # linux系统和windows系统之间数据库导入导出，可能因为字符集不同出现'unknown command \\'错误 # 通过在创建数据库后修改为utf8字符集，以及导入时指定--default-character-set=utf8，解决这个问题 local(r'mysql -uroot -p%s --default-character-set=utf8 awesome < %s' % (p, restore_file[:-7])) # 导入数据库 local('del %s' % restore_file[:-7]) # 删除解压出的文件 def extract(tar_path, target_path): ''' 解压tar.gz文件到目标目录 ''' try: tar = tarfile.open(tar_path, "r:gz") file_names = tar.getnames() for file_name in file_names: tar.extract(file_name, target_path) tar.close() except Exception as e: raise e if __name__ == '__main__': build() deploy() # rollback() # backup() # restore2local() input() ``` 这样就部署完成了。 #### 坑 - www-data这个用户名是web服务默认的用户组，不了解后果时不要轻易修改。 - python3.6安装后，3.5和3.6共存可能发生很多想不到的问题，我就被supervisor莫名其妙的问题卡到放弃，最后发现3.5完全可以安装aiomysql等模块。不一定需要python3.6. - nginx有个默认的配置文件，即`/etc/nginx/sites-available/`下的default文件，直接新建awesome.conf不会生效。 - 把服务器地址放在`env.hosts`中，运行时会要求指定服务器，因为只有一个网站，可以直接放在`env.host_string`中。 - window和linux下换行符不同的问题，可能导致你的app.py无法运行，提示'python3\r'找不到。详情搜索“git 行尾换行符”。解决方法是用vi打开app.py，输入`:set ff=unix`然后`:wq`退出。或者再服务器安装dos2unix后用它转换，我后来采用了这个办法，方便写入fabfile自动操作。