-
爬虫小工具
-
爬虫实战
-
笔趣看小说下载
-
VIP视频下载
-
百度文库文章下载_rev1
-
百度文库文章下载_rev2
-
《帅啊》网帅哥图片下载
-
构建代理IP池
-
《火影忍者》漫画下载
-
财务报表下载小助手
-
一小时入门网络爬虫
-
抖音App视频下载_rev1
-
抖音App视频下载_rev2
-
抖音App视频下载_rev3
-
GEETEST验证码破解
-
12306抢票小助手
-
百万英雄答题辅助系统
-
网易云音乐批量下载
-
B站视频和弹幕批量下载
-
其它
爬虫小工具
一个可以用于下载图片、视频、文件的小工具，有下载进度显示功能。稍加修改即可添加到自己的爬虫中。
动态示意图：
1、biqukan.py：《笔趣看》盗版小说网站，爬取小说工具
第三方依赖库安装：
pip3
install beautifulsoup4
使用方法：
python
biqukan
.py
2、video_downloader：爱奇艺等主流视频网站的VIP视频破解助手(暂只支持PC和手机在线观看VIP视频！)
感谢Python3二维码生成器作者：https://github.com/sylnsfar/qrcode
编译好的软件下载连接：https://pan.baidu.com/s/1bqSTNJL 密码:p8bs
解压密码：
cuijiahua.com
无需Python3环境，在Windows下，解压即用！软件使用方法
源码可查看
video_downloader
，运行源码需要搭建Python3环境，并安装相应第三方依赖库：
在
video_downloader
文件夹下，安装第三方依赖库：
pip3
install
-r
requirements
.txt
使用方法：
python
movie_downloader
.py
运行环境：
-
Windows, Python3
-
Linux, Python3
-
Mac, Python3
3、baiduwenku.py：百度文库word文章爬取
原理说明：http://blog.csdn.net/c406495762/article/details/72331737
代码不完善，没有进行打包，不具通用性，纯属娱乐，以后有时间会完善。
4、shuaia.py：爬取《帅啊》网，帅哥图片
《帅啊》网URL：http://www.shuaia.net/index.html
原理说明：http://blog.csdn.net/c406495762/article/details/72597755
第三方依赖库安装：
pip3
install requests beautifulsoup4
5、daili.py：构建代理IP池
原理说明：http://blog.csdn.net/c406495762/article/details/72793480
6、carton：使用Scrapy爬取《火影忍者》漫画
代码可以爬取整个《火影忍者》漫画所有章节的内容，保存到本地。更改地址，可以爬取其他漫画。保存地址可以在settings.py中修改。
动漫网站：http://comic.kukudm.com/
原理说明：http://blog.csdn.net/c406495762/article/details/72858983
7、hero.py：《王者荣耀》推荐出装查询小助手
网页爬取已经会了，想过爬取手机APP里的内容吗？
原理说明：http://blog.csdn.net/c406495762/article/details/76850843
8、financical.py： 财务报表下载小助手
爬取的数据存入数据库会吗？《跟股神巴菲特学习炒股之财务报表入库(MySQL)》也许能给你一些思路。
原理说明：http://blog.csdn.net/c406495762/article/details/77801899
动态示意图：
9、one_hour_spider：一小时入门Python3网络爬虫。
原理说明:
本次实战内容有：
-
网络小说下载(静态网站)-biqukan
-
优美壁纸下载(动态网站)-unsplash
-
爱奇艺VIP视频下载
10、douyin.py：抖音App视频下载
抖音App的视频下载，就是普通的App爬取。
原理说明:个人网站：http://cuijiahua.com/blog/2018/03/spider-5.html
11、douyin_pro：抖音App视频下载（升级版）
抖音App的视频下载，添加视频解析网站，支持无水印视频下载，使用第三方平台解析。
原理说明:个人网站：http://cuijiahua.com/blog/2018/03/spider-5.html
12、douyin_pro_2：抖音App视频下载（升级版2）
抖音App的视频下载，添加视频解析网站，支持无水印视频下载，通过url解析，无需第三方平台。
原理说明:个人网站：http://cuijiahua.com/blog/2018/03/spider-5.html
动态示意图：
13、geetest.py：GEETEST验证码破解
爬虫最大的敌人之一是什么？没错，验证码！Geetest作为提供验证码服务的行家，市场占有率还是蛮高的。遇到Geetest提供的滑动验证码怎么破？授人予鱼不如授人予渔，接下来就为大家呈现本教程的精彩内容。
原理说明:http://www.cuijiahua.com/blog/2017/11/spider_2_geetest.html
动态示意图：
14、12306.py:用Python抢火车票简单代码
可以自己慢慢丰富，蛮简单，有爬虫基础很好操作，没有原理说明。
15、baiwan：百万英雄辅助答题
原理说明：http://cuijiahua.com/blog/2018/01/spider_3.html
功能介绍：
-
服务器端，使用Python（baiwan.py）通过抓包获得的接口获取答题数据，解析之后通过百度知道搜索接口匹配答案，将最终匹配的结果写入文件（file.txt)。
-
手机抓包不会的朋友，可以看下我的早期手机APP抓包教程。
-
Node.js（app.js）每隔1s读取一次file.txt文件，并将读取结果通过socket.io推送给客户端（index.html）。
-
亲测答题延时在3s左右。
-
声明：没做过后端和前端，花了一天时间，现学现卖弄好的，javascript也是现看现用，百度的程序，调试调试而已。可能有很多用法比较low的地方，用法不对，请勿见怪，有大牛感兴趣，可以自行完善。
16、Netease:根据歌单下载网易云音乐
功能介绍：根据music_list.txt文件里的歌单的信息下载网易云音乐，将自己喜欢的音乐进行批量下载。
17、bilibili：B站视频和弹幕批量下载
使用说明：
python
bilibili
.py
-d
猫
-k
猫
-p
10
三个参数：
-d 保存视频的文件夹名
-k B站搜索的关键字
-p 下载搜索结果前多少页
欢迎Star，Pull re
quests，项目地址，点击【阅读原文】
1.微信群：
添加小编微信：tangguoyemeng，备注“进群+姓名+公司职位”即可，加入【云计算学习交流群】，和志同道合的朋友们共同打卡学习！
2.征稿：
投稿邮箱：lijy@csdn.net；微信号：tangguoyemeng。请备注投稿+姓名+公司职位。
扫描以下二维码
即可参与“2018 年 CSDN 软件开发者大调查活动”！我们还为你准备了精美的礼品，华为 nova3 智能手机、小爱智能音箱、CSDN 背包、CSDN 定制T恤、数百本技术图书等你来拿！参与即有机会获赠，还等什么，快来试试吧！
│ 课时14：Requests+正则表达式爬取猫眼电影.mp4
│ 课时15：分析Ajax请求并抓取今日头条街拍美图 .mp4
│ 课时16：使用Selenium模拟浏览器抓取淘宝商品美食信息.mp4
│ 课时17：使用Redis+Flask维护动态代理池.mp4
│ 课时
18
：使用代理处理反爬抓取微信文章.mp4
│ 课时19：使用Redis+Flask维护动态Cookies池.mp4
├─章节4： 框架篇
│ 课时20：PySpider框架基本使用及抓取TripAdvisor
实战
.mp4
│ 课时21：PySpider架构概述及用法详解.mp4
│ 课时22：Scrapy框架安装.mp4
│ 课时23：Scrapy框架基本使用.mp4
│ 课时24：Scrapy命令行详解.mp4
│ 课时25：Scrapy中选择器用法.mp4
│ 课时26：Scrapy中Spiders用法.mp4
│ 课时27：Scrapy中Item Pipeline的用法.mp4
│ 课时28：Scrapy中Download Middleware的用法.mp4
│ 课时29：Scrapy爬取知乎用户信息
实战
.mp4
│ 课时30：Scrapy+Cookies池抓取新浪微博.mp4
│ 课时31：Scrapy+Tushare爬取微博股票数据.mp4
└─章节5： 分布式篇
课时32：Scrapy分布式原理及Scrapy-Redis源码解析.mp4
课时33：Scrapy分布式架构搭建抓取知乎.mp4
课时34：Scrapy分布式的部署详解.mp4
实践来源于理论，做
爬虫
前肯定要先了解相关的规则和原理，要知道互联网可不是法外之地，你一顿
爬虫
骚操作搞不好哪天就…首先，咱先看下
爬虫
的定义：网络
爬虫
（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。一句话概括就是网上信息搬运工。
你好，我是悦创。很多同学一听到
Python
或编程语言，可能条件反射就会觉得“很难”。但今天的
Python
课程是个例外，因为今天讲的**
Python
技能，不需要你懂计算机原理，也不需要你理解复杂的编程模式。**即使是非开发人员，只要替换链接、文件，就可以轻松完成。并且这些几个实用技巧，简直是
Python
日常帮手的最佳实践。接下来，我们就逐一用
Python
实现，其中我提供的代码是万能代码，只用替换成你想爬的网页链接、文件位置、照片就可以进行处理了。**Tips.py文件。...
本次的7个
python
爬虫
小
案例
涉及到了re正则、xpath、beautiful soup、selenium等知识点，非常适合刚入门
python
爬虫
的小伙伴参考学习。注：若涉及到版权或隐私问题，请及时联系我删除即可。
本次的7个
python
爬虫
小
案例
涉及到了re正则、xpath、beautiful soup、selenium等知识点，非常适合刚入门
python
爬虫
的小伙伴参考学习。
目录Scrapy是啥Scrapy的安装实例：爬取美剧天堂new100：(1)创建工程：（2） 创建
爬虫
程序（3） 编辑
爬虫
(4)设置item模板：（5） 设置配置文件(6)设置数据处理脚本：(7)运行
爬虫
Scrapy是啥
scrapy是一个使用
python
编写的
开源
网络
爬虫
框架。这里的框架实际上就是应用程序的骨架，是一个半成品，框架能够保证程序结构风格统一。
Scrapy的安装
pip install Scrapy。但在此之前要先安装几个包：
在cmd中运行以下语句：
(1) pip install wh
然后，我们计算股票的收益率，通过计算每日收盘价的变化百分比。结论： 在本篇博客中，我们介绍了五个实用的
Python
爬虫案例
，并提供了相应的代码示例和解析。这些
案例
涵盖了不同的应用场景，包括爬取天气数据、图片下载、电影评论、新闻文章爬取和文本分析，以及股票数据爬取和分析。通过这些
案例
的学习，读者可以更深入地理解
Python
爬虫
的应用和技巧，为自己的
爬虫
项目提供更多思路和灵感。对于每个图片链接，我们发送GET请求获取图片的响应，并使用with open语句打开一个文件，将图片的内容写入文件。
现在学生都对
爬虫
感兴趣，这里发现一些好的github
开源
的代码，分享给各位1、awesome-spider 该网站提供了近上百个
爬虫案例
代码，这是ID为facert的一个知乎工程师
开源
的，star6000+https://github.com/facert/awesome-spidergithub.com不仅仅这些还有很多哦！需要的赶快拿去吧!2、Nyspider 这是ID为Nyloner的一...
WechatSogou [1]-
微信公众号
爬虫
。基于搜狗微信搜索的微信公众号
爬虫
接口，可以扩展成基于搜狗搜索的
爬虫
，返回结果是列表，每一项均是公众号具体信息字典。
DouBanSpider [2]-
豆瓣读书
爬虫
。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便
