各位python爬虫大牛看过来,这个网站的反爬虫怎么处理

问题描述

https://www.everysaving.co.uk通过python爬取这个网站的数据,然而返回不了数据,！我加入了header和代理IP去抓取,也不行,望各位大牛们不妨试试看。。。

问题解答

代理访问网站可见下图：

通过https://www.17ce.com/，发现大陆几乎都被屏蔽了，Http状态返回403。此网站的安全策略级别比较高，建议使用欧美地区的高匿代理 VPN或者服务器，降低抓取频次。

fiddler抓包，浏览器发什么你就发什么

你这个地址直接通过浏览器也访问不了呀，被墙了吧？

我直接点开是不能访问的，测试用了新加坡的代理可以打开