网页爬虫 - Python requests.get 爬虫 设置代理 IP地址未改变

问题描述

工作需要爬取亚马逊上面的信息，但是亚马逊反爬虫太厉害，同一个IP地址会被封。Python版本：3.6， IDE：Pycharm 2017.1在网上查了很多资料，requests库的手册也读过，但是都是同一个方法，代码如下：

import requests’’’代理IP地址（高匿）’’’proxy = {’HTTPS’: ’117.85.105.170:808’}’’’head 信息’’’head = {’User-Agent’: ’Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36’, ’Connection’: ’keep-alive’}’’’http://icanhazip.com会返回当前的IP地址’’’p = requests.get(’http://icanhazip.com’, headers=head, proxies=proxy)print(p.text)

根据我看过的许多教程的理论，如果代理设置成功，最后显示的IP应该是代理的IP地址，但是最终还是我真实的IP地址，这样一来不就等于没有设置代理么？

问题解答

proxies在你访问http时用http的设置，访问https时用https的设置所以你的proxy需要同时包含http及https的配置，这样才能生效

proxy = { ’http’: ’http://117.85.105.170:808’, ’https’: ’https://117.85.105.170:808’}