添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接
Scrapy数据爬取,Django+PyEcharts实现可视化大屏(附源码)

Scrapy数据爬取,Django+PyEcharts实现可视化大屏(附源码)

大家好,我是小F~

最近有个小伙伴问我有没有基于Django的可视化大屏,小F就顺手找了一下。

于是便在GitHub上发现了一个不错的实战项目,基于qunaer长沙景点数据。

还是作者最近几天刚更新的,保真~

项目地址:

github.com/ChenZixinn/s

不方便下载的小伙伴,可以直接去文末,小F都打包好了。

/ 01 / 项目介绍

使用Scrapy进行数据爬取,MySQL存储数据,Django写后端服务,PyEcharts制作可视化图表,效果如下。

发现每个模块都有详情页,可以通过点击首页各个模块的标签,进行访问。

基于数据可视化的游客行为分析系统,包含以下几类图表。

  • 景点数量各区县分布地图
  • 景点评分数据排名
  • 景点人数占比分析
  • 景点浏览人数占比分析
  • 景点评论词云图
  • 景点浏览时间分布图
  • 景点评分分布图
  • 景点数量各区县分布图

还有登录界面,可以自己注册账号,说明包含用户管理。

接下来小F就来教大家如何去部署,以win10为例。

/ 02 / 项目部署-Python

首先需要安装Anaconda(版本4.11.0),方便创建Python环境。

Anaconda的安装方法,大家可以自行百度,还是比较容易的。

安装好以后,创建虚拟环境,根据项目提供的【 requirements.txt 】文件,安装所需的依赖。

# 创建虚拟环境
conda create --name test python=3.8.13
# 激活环境
conda activate test
# 安装依赖
pip install -r requirements.txt

/ 03 / 项目部署-MySQL

然后是安装MySQL数据库(版本8.0.33),推荐使用 msi文件 进行安装,不容易出错。

一定要记住root账户的密码,后续会用到。

安装好以后,创建数据库,使用数据库。

# 创建数据库
create database hunan_web;
# 使用数据库
use hunan_web;

接下来创建数据表,并且插入数据。

具体可以看项目中【 new_hunan_web.sql】 这个文件。

其中作者还提供了原始数据。

也就意味着,你无需运行爬虫代码,便有数据,能立马将项目运行起来。

最后在程序里面设置下数据库的密码。

hunan_web 文件夹中 setting.py 文件里去设置。

设置好以后,运行服务的时候,就可以连接到数据库了。

/ 04 / 项目部署-运行访问

当Python和数据库环境都搭建好时,运行【 manage.py 】文件

# 运行项目
python manage.py runserver结果如下。

使用谷歌浏览器访问网页地址:

127.0.0.1:8000/

是一个登录页,点击 去注册

输入账号密码,即可注册成功,然后 去登录

登录成功,即可看到到分析页面。

/ 05 / 项目部署-数据更新

如果你想更新数据库,可以运行爬虫代码。

# 更新数据