使用工具:
python3.9
下载wheel:
在安装Twisted前可能提示需要wheel工具,若未提示跳过这一步
按住shift,用右键点击打开powershell命令行
输入
pip3 install wheel
successfully install后进入下一步。
下载Twisted:
scrapy框架安装需要Twisted支持。
python3.9以下可从社区下载https://pypi.org/project/Twisted/
或命令行输入
pip install Twisted
pyhon3.9
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted上可找到
Twisted-20.3.0-cp39-cp39-win_amd64.whl
文件
下载链接
https://download.lfd.uci.edu/pythonlibs/z4tqcw5k/Twisted-20.3.0-cp39-cp39-win_amd64.whl
下载后打开下载文件夹的powershell命令框,输入
pip install Twisted-20.3.0-cp39-cp39-win_amd64.whl
进行安装
下载scrapy:
pip3 install scrapy
注:若wheel、scrapy下载过慢而失败,需从国内镜像源下载
使用工具下载Wheel下载Twisted下载Scrapy使用工具:python3.9下载wheel:在安装Twisted前可能提示需要wheel工具,若未提示跳过这一步按住shift,用右键点击打开powershell命令行输入pip3 install wheelsuccessfully install后进入下一步。下载Twisted:scrapy框架安装需要Twisted支持。python3.9以下可从社区下载https://pypi.org/project/Twisted/
下载python3.9.0,python官网:https://www.python.org,电脑已安装则转步骤2
下载所需模块的.whl文件,下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs
我下载的文件如下,一定注意所下载文件的版本号:
win + R下输入cmd,打开终端,安装wheel并验证是否安装成功
pip install wheel #安装wheel
wheel #验证wheel安装是否成功
cmd内切换路径至步骤
写在前面 最近在学习爬虫,在熟悉了Python语言和BeautifulSoup4后打算下个爬虫框架试试。 没想到啊,这坑太深了。。。 看了看相关介绍后选择了Scrapy框架,然后兴高采烈的打开了控制台,
pip install Scrapy 坑出现了。。。。 运行报错error: Unable to find vcvarsall.bat 开始上网查解决方法。。 看了大多数方法,基
Scrapy是纯Python开发的一个高效,结构化的网页抓取框架;
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试 Scrapy使用了Twisted 异步网络库来处理网络通讯。
使用原因:
1.为了更利于我们将精
近期
python3.8以及
3.9用
pip安装scrapy会出错,现象是出现满屏的红字,原因在于
scrapy需要
安装的库twisted目前官方只最高只提供到3.7版,所以报错导致
scrapy安装失败。这就需要自行下载3.8/
3.9版的twisted
安装了,结果去到pypi和twisted官网都只有3.7版,然后,无论是谷歌还是百度,都指向一个网站:https://www.lfd.uci.edu/~gohlke/
pythonlibs/,大家可以自行下载相应版本,我也放在百度网盘共享,大家可以根据需要来下载:
安装 Scrapy 的步骤如下:
1. 安装 Python:Scrapy 是 Python 编写的,所以需要先安装 Python。可以从官网下载 Python 安装程序进行安装。
2. 安装 pip:pip 是 Python 的包管理器,用于安装和管理 Python 包。在 Python 安装完成后,可以使用以下命令安装 pip:
python get-pip.py
3. 安装 Scrapy:在安装 pip 后,可以使用以下命令安装 Scrapy:
pip install scrapy
4. 验证安装:安装完成后,可以使用以下命令验证 Scrapy 是否安装成功:
scrapy version
如果成功安装,则会显示 Scrapy 的版本号。
如果在安装 Scrapy 过程中遇到问题,可以查看 Scrapy 官网的安装教程或者在搜索引擎中搜索相关解决方案。