转自:https://www.cnblogs.com/Lin-Yi/p/7640147.html、http://www.jb51.net/article/73450.htm
import requests
import json
json.loads(json_str) json字符串转换成字典
json.dumps(dict) 字典转换成json字符串
# 这是一个ajax发起的get请求,获取一个json对象
r = requests.get("https://m.douban.com/rexxar/api/v2/subject_collection/movie_showing/items?os=ios&for_mobile=1&start=0&count=18&loc_id=108288&_=0")
json_response = r.content.decode() # 获取r的文本 就是一个json字符串
# 将json字符串转换成dic字典对象
dict_json = json.loads(json_response)
print(type(dict_json))
# 将字典转换成json字符串
str_json = json.dumps( dict_json )
print(type(str_json))
# 字典转换成json 存入本地文件
with open('./a.txt','w') as f:
# 设置不转换成ascii json字符串首缩进
f.write( json.dumps( dict_json,ensure_ascii=False,indent=2 ) )
Python的json模块提供了一种很简单的方式来编码和解码JSON数据。 其中两个主要的函数是 json.dumps() 和 json.loads() , 要比其他序列化函数库如pickle的接口少得多。 下面演示如何将一个Python数据结构转换为JSON:
import json
data = {
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
json_str = json.dumps(data)
下面演示如何将一个JSON编码的字符串转换回一个Python数据结构:
data = json.loads(json_str)
如果你要处理的是文件而不是字符串,你可以使用 json.dump() 和 json.load() 来编码和解码JSON数据。例如:
# Writing JSON data
with open('data.json', 'w') as f:
json.dump(data, f)
# Reading data back
with open('data.json', 'r') as f:
data = json.load(f)
用法示例:
相对于python解析XML来说,我还是比较喜欢json的格式返回,现在一般的api返回都会有json与XML格式的选择,json的解析起来个人觉得相对简单些
先看一个简单的豆瓣的图书查询的api返回
http://api.douban.com/v2/book/isbn/9787218087351
rating: {
max: 10,
numRaters: 79,
average: "9.1",
min: 0
subtitle: "",
author: [
pubdate: "2013-9",
tags: [
count: 313,
name: "野夫",
title: "野夫"
count: 151,
name: "散文随笔",
title: "散文随笔"
count: 83,
name: "身边的江湖",
title: "身边的江湖"
count: 82,
name: "土家野夫",
title: "土家野夫"
count: 70,
name: "散文",
title: "散文"
count: 44,
name: "中国文学",
title: "中国文学"
count: 43,
name: "随笔",
title: "随笔"
count: 38,
name: "中国现当代文学",
title: "中国现当代文学"
origin_title: "",
image: "http://img5.douban.com/mpic/s27008269.jpg",
binding: "",
translator: [ ],
catalog: "自序 让记忆抵抗 001 掌瓢黎爷 024 遗民老谭 039 乱世游击:表哥的故事 058 绑赴刑场的青春 076 风住尘香花已尽 083 “酷客”李斯 100 散材毛喻原 113 颓世华筵忆黄门 122 球球外传: 一个时代和一只小狗的际遇 141 童年的恐惧与仇恨 151 残忍教育 167 湖山一梦系平生 174 香格里拉散记 208 民国屐痕",
pages: "256",
images: {
small: "http://img5.douban.com/spic/s27008269.jpg",
large: "http://img5.douban.com/lpic/s27008269.jpg",
medium: "http://img5.douban.com/mpic/s27008269.jpg"
alt: "http://book.douban.com/subject/25639223/",
id: "25639223",
publisher: "广东人民出版社",
isbn10: "7218087353",
isbn13: "9787218087351",
title: "身边的江湖",
url: "http://api.douban.com/v2/book/25639223",
alt_title: "",
author_intro: "郑世平,笔名野夫,网名土家野夫。毕业于武汉大学,曾当过警察、囚徒、书商。曾出版历史小说《父亲的战争》、散文集《江上的母亲》(获台北2010国际书展非虚构类图书大奖,是该奖项第一个大陆得主)、散文集《乡关何处》(被新浪网、凤凰网、新华网分别评为2012年年度好书)。",
summary: "1.野夫书稿中被删减最少,最能体现作者观点、情感的作品。 2.文字凝练,具有极强的感染力。以一枝孤笔书写那些就在你我身边的大历史背景下普通人的生活变迁。 3. 柴静口中“一半像警察,一半像土匪”的野夫,以其特有的韵律表达世间的欢笑和悲苦。",
price: "32元"
下面我们通过python来取出想要的信息,比如我们想要rating,images里的large和summary
import urllib2
import json
html = urllib2.urlopen(r'http://api.douban.com/v2/book/isbn/9787218087351')
hjson = json.loads(heml.read())
print hjson['rating']
print hjson['images']['large']
print hjson['summary']
转自:https://www.cnblogs.com/Lin-Yi/p/7640147.html、http://www.jb51.net/article/73450.htmimport requestsimport json'''json.loads(json_str) json字符串转换成字典json.dumps(dict) 字典转换成json字符串 '''# 这是一个ajax发起的...
1.导入import
json
2.
字典
转
json
:
json
.dumps(dict,ensure_ascii=False),加,ensure_ascii=False
转换
之后无中文乱码
3.
json
转
字典
:
json
.loads(str)
4.
json
转
字典
:
requests
.get().josn()
5.返回字符串:
requests
.get().text
#!/usr/bin/python3
# encoding:utf-8
import
json
import
requests
class
json
C():
def __init__(self):
在 Python 众多的 HTTP 客户端中,最有名的莫过于
requests
、aiohttp和httpx。
在不借助其他第三方库的情况下,
requests
只能发送同步请求;aiohttp只能发送异步请求;httpx既能发送同步请求,又能发送异步请求。
那么怎么选择呢
只发同步请求用
requests
,但可配合多线程变异步。
只发异步请求用aiohttp,但可以配合await变同步。
httpx可以发同步请求也可以异步,但是请求速度同步略差于
requests
,异步...
现在的网站大多使用瀑布流的
json
方法来加载,因此在爬取这些信息时,要先对网页进行动态分析,找出对应的
json
连接后,读取对应的网页内容
使用开发者工具对浏览器页面分析的过程就先略过,以后有时间再讲,今天详细讲的是如何利用
requests
库对获取到的内容进行读取与清洗
1、首先通过第三方库request库中的get方法获取网页url中的网页响应内容(url=浏览器分析后的
json
对应url链接)
问题:做
requests
请求时遇到如下报错:
{“code”:“500”,“message”:"
JSON
parse error: Cannot construct instance of
com.bang.erpapplication.domain.User (although at least one Creator exists): no String-argument
construc...
Requests
json
字符串转
字典
1,
Requests
json
字符串转
字典
1,
Requests
json
字符串转
字典
#!/usr/local/bin/python3
import
requests
import
json
url =
requests
.get('https://filscan.io:8700/v0/filscan/BaseInformation')
data = ...
import
requests
https://m.douban.com/rexxar/api/v2/subject_collection/tv_american/items?os=ios&for_mobile=1&callback=
json
p1&start=0&count=18&loc_id=108288&_=0
requests
是一个Python库,用于发送HTTP请求。当我们需要向API发送请求时,通常需要提供一些参数,这些参数可以以多种格式传递,其中一种就是
JSON
。
JSON
(JavaScript Object Notation)是一种轻量级的数据交换格式,并且易于阅读和编写,与XML非常类似。Python中,我们可以通过
字典
来表示
JSON
数据。
在
requests
中,我们可以在请求中加入
JSON
格式的数据,例如:
import
requests
import
json
url = 'https://api.example.com/user'
data = {'username': 'jack', 'password': '123456'}
headers = {'content-type': 'application/
json
'}
response =
requests
.post(url, data=
json
.dumps(data), headers=headers)
print(response.
json
())
在上面的例子中,我们向`https://api.example.com/user`发送了一个POST请求,请求体中的数据使用
JSON
格式表示,由`
json
.dumps()`方法将数据
转换
成
JSON
字符串。
另外,我们还需要指定请求头中的`content-type`为`application/
json
`,告诉服务器请求体中的数据格式。最后,我们可以通过`response.
json
()`方法来解析响应数据,得到
JSON
格式的数据。
总之,
requests
提供了方便的API来发送HTTP请求,而
JSON
则是一种表示数据的广泛格式,对于向API发送请求时,传递参数的方式很有用。