MONGO_DB = 'Test'
MONGO_COLLECTION = 'test'
client = pymongo.MongoClient(MONGO_URL).MONGO_DB.MONGO_COLLECTION
datas = client.find({}, {"_id": 0})
with open(FILE, 'a', encoding="utf-8") as f:
item = {}
for data in datas:
# 选择要导出的字段
item['title'] = data['title']
item['text'] = data['text'].strip()
# ensure_ascii默认为True,导出时中文会出现乱码,所以有中文时这里应设置为False
f.write(json.dumps(item, ensure_ascii=False) + "\n")
2.导出csv格式:
# encoding:utf-8
import pymongo
import csv
import codecs
FILE = "E:\\test.csv"
MONGO_URL = 'mongodb://127.0.0.1:27017'
MONGO_DB = 'Test'
MONGO_COLLECTION = 'test'
client = pymongo.MongoClient(MONGO_URL).MONGO_DB.MONGO_COLLECTION
datas = client.find({}, {"_id": 0})
with codecs.open(FILE, 'a', encoding='utf-8') as csvfile:
writer = csv.writer(csvfile)
# 设置csv头行,选择要导出的字段
writer.writerow(["title", "text"])
for data in datas:
writer.writerow([data['title'], data['text']])
写入csv时,我使用的是codecs.open而不是open,这是因为我使用open打开时报了错误:UnicodeEncodeError编码错误,
使用codecs可以自动转换格式编码。
1.导出json格式# encoding:utf-8import pymongoimport jsonFILE = "E:\\test.json"MONGO_URL = 'mongodb://127.0.0.1:27017' MONGO_DB = 'Test'MONGO_COLLECTION = 'test' client = pymongo.MongoClient(MONGO_URL).MONGO_DB.MONGO_COLLECTIONdatas = client.find({}
pymongo迁移
使用
Python
进行
Mongodb
迁移。
由于
mongodb
在大多数情况下都是无模式的,因此您无需进行数据迁移就可以做到。 有时,您想创建一些新实体或迁移旧数据,而不是在代码
中
添加另一个IF语句。 这是pymongo-migrate出现的地方。
Usage: pymongo-migrate [OPTIONS] COMMAND [ARGS]...
Options:
--help Show this message and exit.
Commands:
downgrade apply necessary downgrades to reach target migration
graph
migrate automagically apply necessary upgrades or downgrades to reach
通过执行
python
代码将
json
文件导入
MongoDB
中
,我这里的
json
数据大概有35M左右,运行代码需要几分钟才能插入完。
1.集成环境:pycharm,
python
版本3.7
2.需要在pycharm
中
绑定localhost
MongoDB
,建议去官网下载
MongoDB
,下载过程
中
勾选
MongoDB
compass方便可视化查看数据。具体怎么在pycharm
中
绑定
MongoDB
可以自行查找。
3.执行代码
# -*- coding:utf-8 -*-
from pymongo import *
我们知道,
mongoDB
数据库表
中
的一条数据(document)在呈现的时候,很像
json
。在平时的
使用
中
,有时候会有这样的需求:我们需要将数据库
中
的数据读出来,并将其传送(例如ajax请求)到前端页面去解析呈现。显然此时,为了更容易解析,我们需要将数据转为为
json
形式。
mongoengine作为一个操作
mongoDB
数据库的
python
解析库,其在将表
中
的数据转化为js...
Mongodb
中
的mongoexport工具可以把一个collection
导出
成
JSON
格式
或
CSV
格式
的文件。可以通过参数指定
导出
的数据项,也可以根据指定的条件
导出
数据。mongoexport具体用法如下所示:
参数说明:示例:
导出
集合articles,字段 _id,author,dave,score,views
1.2 数据导入 mongoimport
mongoimport具体用法如下所示:
参数说明:示例:导入集合articles_import,字段 _id,author,dave,score,vi
client = pymongo.MongoClient(‘localhost’, 27017)
rent_info = client[‘DB’]
sheet_table = rent_info[‘Collection’]
df1 = pd.DataFra...
MongoDB
数据
导出
首先,
MongoDB
的数据
导出
仅支持
Json
及
csv
格式
,无法直接导入可执行的Mysql数据库脚本。
所以,要完全将
MongoDB
的数据导入到Mysql可以通过先
导出
成
Json
再
使用
Python
将数据转换成SQL脚本。
注:由于
Python
要自己写,且表名字段名啥的只能固定写死,所以该方法仅在将单张表
中
的数据导入MySql有效,批量多表导
今天,想把爬虫下来的数据存储到数据库
中
,看网上大家说有一个
MongoDB
数据库,然后我就试了一下,把一些操作记录下来,供大家参考。
原本以为在Pycharm
中
有对应的数据库插件,确实有,但是不知道是封了还是怎么回事,就是访问不到,我翻墙试了下,还是没成功(深度怀疑这个地方呈现的是一个列表)
如下图所示:
然后看到说可以在本地先安装
MongoDB
数据库,于是就开始安装数据库征程。其实真的很简
为了迁移数据库,将mysql的数据转换成可以插入到mongo的
json
格式
,自己手工做了一个小功能;
废话少说–>上代码config.py文件:#!/usr/bin/
python
# -*- coding: UTF-8 -*-
BaseLoop = 100000#输出
json
时,循环遍历的基准serverAddr = 'localhost'#服务器地址
databaseName = 'tony'#