爬取简书全站文章并生成 API(五)

简书

看完前面的四篇文章,就已经可以爬取简书全站的文章做成 API,并且可以部署上线了。但是我对 Docker 这个很火的东西非常感兴趣,前段时间学了 Docker 的基本操作,正好可以用上。这也时我第一次用 Docker 部署 Django 应用,若有不正确的地方,还望指出。

使用 Docker 部署 Django 应用程序

由于 Docker Hub 的镜像在国内下载速度非常慢,所以此次使用的都是 daocloud 提供的镜像。Docker 的基本操作可以参考 http://www.tianfeiyu.com/?cat=159.

Docker 部署 Django 应用可以通过两种方式来完成:迭代构建和容器互联。以下使用容器互联的方式搭建 Django 容器栈。

注意:以下所有操作步骤均在 CentOS 6.6 x86_64 下完成。

所需镜像

  • Docker version 1.7.1
  • daocloud.io/nginx:1.11
  • daocloud.io/python:2.7
  • daocloud.io/mysql:5.6
  • daocloud.io/django:1.9

容器创建的顺序:

mysql --> redis --> django --> nginx
架构图

构建镜像前请先下载好所有所需的镜像。

1. 创建 mysql 容器

首先创建一个用于构建容器的目录:

# mkdir /docker
# cd /docker/

然后创建好以下几个目录用于存放相应的文件:

├── mysql  
│   ├── conf.d    
│   │   ├── jianshu.sql       ---对应的 django 数据库文件,需要手动导入
│   │   ├── character.cnf  ---设定字符集
│   │   └── my.cnf         ---额外配置
│   ├── data               ---挂载数据库文件的目录
│   └── start.sh           ---容器启动脚本

以下是 mysql 容器的启动脚本:

#!/bin/bash 
#

echo "---------------start mysql image-------------------"
docker run --name mysql \
-v $(pwd)/conf.d:/etc/mysql/conf.d \
-v $(pwd)/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
-p 3307:3306 \
-d daocloud.io/mysql:5.6.30 

上述脚本创建一个名为 mysql 的容器,挂载容器的配置文件目录与数据目录并且初始化 mysql 的密码。

2. 创建 redis 容器

使用 redis 缓存后端数据。

redis 容器不需要特别的处理。

├── redis
│   └── start.sh

启动脚本:

#!/bin/bash 
#

docker run --name redis -d daocloud.io/redis:3.0.7

3. 创建 django 容器

要创建 django 容器,首先需要一个 django 镜像,即在 daocloud.io/python:2.7 镜像中安装 django 所需的环境。再将 django 容器与 mysqlredis 容器进行互联。

└── web
    ├── jianshu.tar.gz       ---app 打包文件
    ├── Dockerfile          ---构建 django 镜像所使用的 Dockerfile
    ├── requirements.txt  ---app 依赖的库
    ├── start.sh          ---启动脚本
    └── stop.sh              

以下为 Dockerfile 文件信息:

# 基础镜像
FROM daocloud.io/python:2.7

# 维护者信息
MAINTAINER tianfeiyu <www.tianfeiyu.com>

ADD blog.tar.gz /usr/src/ 

# app 所在目录
WORKDIR /usr/src/jianshu

# 安装 app 所需依赖
RUN pip install --no-cache-dir -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

启动脚本:

#!/bin/bash 
# 
docker exec -d mysql mysql -uroot -p123456 -e "create database blog;"
docker build -t feiyu/django-app .
docker run --name django \
-v /usr/src/jianshu \
-v /usr/src/jianshu/static \                                                                                         
--link mysql:mysql \
--link redis:redis \
-p 12000:8000 \
-d feiyu/django-app /usr/local/bin/uwsgi --http :8000 --chdir /usr/src/jianshu -w jianshu.wsgi

上面使用 --link 选项来能够进行容器间安全的交互通信,使用格式 name:alias,可在一个 docker run 命令中重复使用该参数,使用 --link 时,连接通过容器名来确定容器,建议启动容器时自定义容器名。

通过 --link 选项来建立容器间连接,不但可以避免容器的 IP 和端口暴露到外网所导致的安全问题,还可以防止容器在重启后 IP 地址变化导致的访问失效,它的原理类似于 DNS 服务器的域名和地址映射。当容器的 IP 地址发生变化时,Docker 将自动维护映射关系中 IP 地址。

Docker 通过 2 种方式为容器公开连接信息:环境变量和更新 /etc/hosts 文件。

依旧使用 uwsgi来启动 django 应用程序,也可以使用 gunicorn 来启动。

4. 创建 nginx 容器

nginx 容器的创建比较简单,先在构建镜像时将 nginx 的配置文件复制到镜像,再将 nginx 容器与 django 容器进行互联并且挂载 django 容器中的数据卷。

├── nginx
│   ├── Dockerfile                 ---构建 nginx 镜像的 Dockerfile
│   ├── nginx-conf                    
│   │   └── django_project.conf       ---提供的 nginx 配置文件 
│   ├── restart.sh
│   ├── start.sh
│   └── stop.sh

Dockerfile 文件:

FROM daocloud.io/nginx
 
MAINTAINER tianfeiyu <www.tianfeiyu.com>                                                                            
 
RUN rm /etc/nginx/conf.d/default.conf
ADD nginx-conf/ /etc/nginx/conf.d/

启动脚本:

#!/bin/bash 
#                                                                                                                   
docker build -t nginx .        
docker run --name nginx-server \
--link django:web \            
-v /www/static \               
--volumes-from django \        
-p 8888:80 \
-d nginx

到此,所有容器的创建过程都已经了解清楚,所有文件的目录树如下所示:

目录树

5. 启动容器栈

为了方便测试,每个需要创建的容器下面都会有一个启动脚本,并且有一个控制所有容器的启动脚本与停止脚本:

#!/bin/bash
#
cd mysql                                                                                                            
echo "start mysql----------------"
./start.sh
 
cd ../redis  
echo "start redis---------------------"
./start.sh
 
cd ../web 
echo "start web ---------------------"
./start.sh
 
cd ../nginx
echo "start nginx-------------------"
./start.sh
启动完成

然后进入到 mysql 容器中将 django 数据库文件导入:

# docker inspect --format "{{.State.Pid}}" mysql
12674
# nsenter --target 12674 --mount --uts --ipc --net --pid
root@91308514f209:/# cd /etc/mysql/conf.d/
root@91308514f209:/etc/mysql/conf.d# mysql -uroot -p jianshu < jianshu.sql

完整的代码请查看 github 项目地址

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 156,423评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,339评论 1 289
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,241评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,503评论 0 203
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,824评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,262评论 1 207
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,615评论 2 309
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,337评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,989评论 1 238
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,300评论 2 240
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,829评论 1 256
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,193评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,753评论 3 230
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,970评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,708评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,295评论 2 267
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,207评论 2 258

推荐阅读更多精彩内容