爬虫之代理IP应该怎么使用？
很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。
request中通过ProxyHandler来设置使用代理服务器，代理的使用很简单，可以付费在专业网站上购买稳定的ip地址，也可以在网络上寻求免费的ip代理。但是，这些免费开放代理一般会有很多人都在使用，而且代理有寿命短，速度慢，匿名度不高，HTTP/HTTPS支持不稳定等缺点（免费没好货）。
尽量不要使用免费的开放代理因为获取基本没有成本，一般都不可以用，找一些优质的HTTP代理 就把它收集起来用在爬虫上面，才是正确的选择
优质短期代理网站举例：华益云HTTP代理
相关推荐
172022-12
短效HTTP代理相关问题介绍
172022-12
HTTP代理IP应该如何去使用？
292022-11
HTTP代理IP全新上线，基本简介
292022-11
http代理的功能主要有哪些？了解一下。
292022-11
什么是HTTP代理 HTTP代理是做什么用的？
292022-11
爬虫ip老是不够，老是被封,有哪些好的ip代理供应商?
292022-11
HTTP代理都是有什么功能，可以运用于哪里？
292022-11
如何使用Socks5代理IP上网呢?-华益云HTTP
292022-11
使用高匿名代理 IP 有什么优点？
292022-11
iphone上的http代理是什么意思？
292022-11
如何通过浏览器使用socks5代理IP
292022-11
如何快速理解 HTTP协议和 HTTPS 协议
292022-11
代理IP的稳定性和响应速度 以及该注意什么
292022-11
获得代理 python爬虫之抓取代理服务器IP
292022-11