用 Python 下载漫画

link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

1. 开篇

前一阵子看了 Relife 这部七月番动画，短短 13 集很快就看完，深深无法自拔，然后去查了下，发现原来是改编自漫画的，于是立马去找漫画的资源，但是搜来搜去都没有找到资源下载，虽然有 cncomico 可以提供在线看，但是我比较喜欢下载下来放到手机上看（强迫症），于是就想到可以用 Python 抓取图片下载。

2. 开干

2.1. 分析目标网站

在用 Python 真正抓取数据前，肯定是要先分析我们要获取的数据以及目标网站的内容。

首先打开我们要抓取的目标漫画的内容页： Relife ，然后查看其源代码

其中每个链接都代表一话的链接，并且链接的格式都是 http://www.cncomico.com/detail.nhn?titleNo=1&articleNo=%d&vm=tit_als ；

同时联系到 Relife 的主页 http://www.cncomico.com/articleList.nhn?titleNo=1 ；

因此我们可以得出：每一话的链接为 http://www.cncomico.com/detail.nhn?titleNo=a&articleNo=b&vm=tit_als ，其中 titleNo=a&articleNo=b 里的 a 代表一幅�漫画的编号（Relife 为 1）， b 代表漫画的章节。

并且可以知道 http://www.cncomico.com/articleList.nhn?titleNo=1 的最上面的话的链接即为最新章；

通过上面我们获取到了每一话的链接，接下来就是到各话的链接去，比如 Relife 136话，同样分析其源代码，我们可以在其源代码中看到以下内容：

指定要下载的漫画，此处为 Relife ，即 titleNo=1 ；

�获取要下载的漫画的最新章节；

��通过上面得到的链接规则： http://www.cncomico.com/detail.nhn?titleNo=a&articleNo=b&vm=tit_als ，从第1话循环下载到最新话。

2.2. 编码

首先，设置要下载的漫画的


    titleNo

，并且按每话的链接规则构建出通用链接

titleNo = 1;
base_url = 'http://www.cncomico.com/detail.nhn?titleNo=' + str(titleNo) + '&articleNo=%d&vm=tit_als'
获取最新的章节
# 获取最新章节
def get_last_chapter(titleNo):
    page_link = 'http://www.cncomico.com/articleList.nhn?titleNo=' + str(titleNo)
    rsp = req.get(page_link)
    rsp.encoding = 'utf-8'
    text = rsp.text
    chapter_links = re.findall('"((http)s?://.*?(&vm=tit_als))"', text)
    last_chapter_link = chapter_links[0][0]
    last_chapter_num = int(re.findall("articleNo=(.+?)&vm=tit_als", last_chapter_link)[0])
    return last_chapter_num
获取每一章节的图片链接
# 获取特定章节的内容
def get_chapter_data(chapter_url):
    rsp = req.get(chapter_url)
    rsp.encoding = 'utf-8'
    text = rsp.text
    image_data = re.findall('"((http)s?://comicimg.*?(jpg))"', text)
    image_links = []
    for item in image_data:
        image_links.append(item[0])
    return image_links;
根据图片链接下载所有的图片
# 下载指定链接内容
def download_files(urls, dir_path):
    if os.path.exists(dir_path) == False:
        os.makedirs(dir_path)
    for idx, link in enumerate(urls):
        book_name = link.split('/')[-1]
        full_name = dir_path + book_name
        if os.path.isfile(full_name) == False:
            r = req.get(link, stream=True)
            with open(full_name, 'wb') as f:
                for chunk in r.iter_content(chunk_size=1024):
                    if chunk:
                        f.write(chunk)
                        f.flush()
                f.close()
                print('download ' + book_name + ' finished')
循环下载所有章节（包含主逻辑及用到的库）
import os
import requests as req
from bs4 import BeautifulSoup as bs
import re
titleNo = 1;
base_url = 'http://www.cncomico.com/detail.nhn?titleNo=' + str(titleNo) + '&articleNo=%d&vm=tit_als'
last_chapter = get_last_chapter(titleNo)
for index in range(1, last_chapter + 1):
        chapter_url = base_url %(index)
       chapter_data = get_chapter_data(chapter_url)
        download_files(chapter_data, './relife/chapter' + str(index) + '/')
2.3. 下载
执行以上脚本，待执行完成，在当前目标会**创建一个 relife **的目录，其中包含所有的漫画资源。
3. 结尾