最近在做爬虫，需要用到ip代理以防止爬虫被ban，在这里写一篇文章来为自己备份也希望能给大家带来帮助。

1.关于IP代理

上网用的协议是 TCP/IP协议 ，网络中的身份之一就是IP，也就是说你必须有一个IP地址才能访问互联网，上网所需要的每个人的IP地址是唯一的。代理IP就是换个身份，就是说你的本机先访问代理IP，然后通过代理IP地址去访问互联网，比如，我们身在墙内，想要访问google、u2b、fb等，直接访问是404，所以要换个不会被墙的IP，比如国外的IP等。这个就是简单的代理。

在爬虫中，有些网站可能为了防止爬虫或者DDOS等，会记录每个IP的访问次数，比如，一些网站（xicidaili）一分钟一个ip只能访问5次，我的ip已经被ban了，嘤嘤嘤。

那么ip，从哪里来呢。百度一下，发现由ip代理网站这一说法，我们就可以直接从IP代理网站上面爬取了，当然也要注意一下这些网站防爬虫~~不要像我一样被ban了。。。

2.爬虫