Scrapy数据爬取,Django+PyEcharts实现可视化大屏(附源码)
大家好,我是小F~
最近有个小伙伴问我有没有基于Django的可视化大屏,小F就顺手找了一下。
于是便在GitHub上发现了一个不错的实战项目,基于qunaer长沙景点数据。
还是作者最近几天刚更新的,保真~
项目地址:
https:// github.com/ChenZixinn/s cenery_spider_web
不方便下载的小伙伴,可以直接去文末,小F都打包好了。
/ 01 / 项目介绍
使用Scrapy进行数据爬取,MySQL存储数据,Django写后端服务,PyEcharts制作可视化图表,效果如下。
发现每个模块都有详情页,可以通过点击首页各个模块的标签,进行访问。
基于数据可视化的游客行为分析系统,包含以下几类图表。
- 景点数量各区县分布地图
- 景点评分数据排名
- 景点人数占比分析
- 景点浏览人数占比分析
- 景点评论词云图
- 景点浏览时间分布图
- 景点评分分布图
- 景点数量各区县分布图
还有登录界面,可以自己注册账号,说明包含用户管理。
接下来小F就来教大家如何去部署,以win10为例。
/ 02 / 项目部署-Python
首先需要安装Anaconda(版本4.11.0),方便创建Python环境。
Anaconda的安装方法,大家可以自行百度,还是比较容易的。
安装好以后,创建虚拟环境,根据项目提供的【 requirements.txt 】文件,安装所需的依赖。
# 创建虚拟环境
conda create --name test python=3.8.13
# 激活环境
conda activate test
# 安装依赖
pip install -r requirements.txt
/ 03 / 项目部署-MySQL
然后是安装MySQL数据库(版本8.0.33),推荐使用 msi文件 进行安装,不容易出错。
一定要记住root账户的密码,后续会用到。
安装好以后,创建数据库,使用数据库。
# 创建数据库
create database hunan_web;
# 使用数据库
use hunan_web;
接下来创建数据表,并且插入数据。
具体可以看项目中【 new_hunan_web.sql】 这个文件。
其中作者还提供了原始数据。
也就意味着,你无需运行爬虫代码,便有数据,能立马将项目运行起来。
最后在程序里面设置下数据库的密码。
在 hunan_web 文件夹中 setting.py 文件里去设置。
设置好以后,运行服务的时候,就可以连接到数据库了。
/ 04 / 项目部署-运行访问
当Python和数据库环境都搭建好时,运行【 manage.py 】文件
# 运行项目
python manage.py runserver结果如下。
使用谷歌浏览器访问网页地址:
是一个登录页,点击 去注册 。
输入账号密码,即可注册成功,然后 去登录 。
登录成功,即可看到到分析页面。
/ 05 / 项目部署-数据更新
如果你想更新数据库,可以运行爬虫代码。
# 更新数据