java - QQ空间爬虫总是被封号

问题描述

抓取QQ空间说说但是 总是被封号 可以给提出一些解决方案吗？如何既可以快速 又可以不封号！谢谢啦！

代码在github上地址https://github.com/20100507/Q...

问题解答

反爬虫策略：

1、识别请求头，判断是否是爬虫2、记录请求频率、路径和访问ip，判断是否是爬虫3、请求参数中进行加密或复杂加密，增加爬虫开发的难度（如淘宝的ua算法）4、复杂验证码

应对反爬虫策略：

1、在爬取过程中，适当切换代理ip2、适当降低请求频率3、请求头模拟成浏览器的请求，也就是用户正常访问的请求

你的问题，主要可以通过定时切换ip，或一旦被封再切换ip，来解决，可以考虑去“站大爷”等代理ip网站付费获取，或者去多用几个电信账号，用ASDL拨号来切换ip。