import chardet
sys.setdefaultencoding('utf-8')
strs=" should buy\x85 appleyuchi \x85 I decide to try this one. "
# fencoding=chardet.detect(strs)
# print fencoding
import re
p=re.compile(r'[^\x00-\x7f]')
m=re.sub(p,'',strs)

print m

第二种办法是

#-*- encoding:utf-8 -*-
import sys
reload(sys)
import chardet
sys.setdefaultencoding('utf-8')
strs=" should buy\x85 appleyuchi \x85 I decide to try this one. "

fencoding=chardet.detect(strs)
print fencoding

print strs.decode('windows-1252')

运行结果：

{'confidence': 0.73, 'language': '', 'encoding': 'Windows-1252'}
should buy… appleyuchi … I decide to try this one.

也就是先判断strs是什么类型的编码，然后根据该编码名字进行解码

第三种办法：

定位到错误后，在python交互模式下：

>>> ord('\x85')
133

因为unicode是兼容ASCII的，但是ord值大于127，所以\x85既不是ASCII也不属于unicode，只能是其他编码，判断之后，转到第一种处理或者第二种办法处理。

记录网友的话：用java爬取数据，即使代码中设定编码为utf-8，但是如果数据本身是非utf-8，那么即使代码设定为utf-8，也是无法对非utf-8的数据进行解码的，此时只能手动解码。decode('windows-1252')

字符集可以在下面查看（需要翻墙），在右上角输入\x85，回车后就可以查到在不通的语言中对应的字符

http://www.charbase.com/0085-unicode-next-line-nel

‘’我‘’这个汉字不是一个char。是utf编码后到字符串
字符，字符串是两个不同的东西
unicode做的就是用多个字符表示一个对应的关系
>>> print('我'.encode())
b'\xe6\x88\x91'
for i in str('我'.encode()): print(ord(i))
每一位ascii（也就是\xe6，\x88\，x91）都是在128以下的  第一种办法是使用正则直接删除非utf-8的字符\x85，以下是请网友帮助写的#-*- encoding:utf-8 -*-import sysreload(sys)import chardetsys.setdefaultencoding('utf-8')strs=" should buy\x85 appleyuchi \x85 I decide to try this one. "        ...