python - 使用scrapy框架爬百度图片被墙

问题描述

请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。

https://image.baidu.com/searc...

问题解答

在 settings.py 将 ROBOTSTXT_OBEY = False 试试。

不要加hearders试试

赞成楼上，如果还会被墙。可采用scrapy+selenium+phantomjs的方式。