ProxyHeadler处理器(代理设置)

ProxyHeadler处理器(代理设置)

爬虫为什么要设置代理？

很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。

代理的原理：

在请求目的服务器之前，先请求代理服务器，然后让代理服务器去请求目的服务器，代理服务器从目的服务器拿到数据后，转发给我们的代码

代码中使用代理的步骤：

使用ProxyHandler传入代理，构建一个handler使用handler构建一个opener使用open()发送请求

from urllib import requestimport ssldef main(): # 不使用代理 # 返回访问的ip url = ' res = request.urlopen(url) print("不使用代理返回ip：\n", res.read().decode('utf-8')) # 使用代理 # 1.使用ProxyHandler传入代理，构建一个handler handler = request.ProxyHandler({'"111.72.25.191:9999"}) # 2.使用handler构建一个opener opener = request.build_opener(handler) # 3.使用open()发送请求 res = opener.open(url) print("使用代理返回ip：\n",res.read().decode('utf-8'))if __name__ == '__main__': main()

运行结果：

常用的代理：

​​西刺代理​​ ： http://xicidaili.com/​​快代理​​：http://kuaidaili.com/​​代理云​​：http://dailiyun.com/

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。