文章详情页
python - 使用scrapy框架爬百度图片被墙
浏览：197日期：2022-06-30 14:19:37
问题描述
请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。
https://image.baidu.com/searc...
问题解答
回答1：在 settings.py 将 ROBOTSTXT_OBEY = False 试试。
回答2：不要加hearders试试
回答3：赞成楼上，如果还会被墙。可采用scrapy+selenium+phantomjs的方式。
相关文章：
1. javascript - 关于数组的循环遍历问题2. javascript - 正则匹配字符串特定语句后的数字3. 在cmd下进入mysql数据库，可以输入中文，但是查看表信息，不显示中文，是怎么回事，怎新手，请老师4. python - Pycharm调试代码进行列表遍历时，如何直接赋值指定元素5. javascript - 请指条明路，angular的$event，在select中却是undefined？6. java 线程池序号一直增加问题7. docker gitlab 如何git clone？8. java - 重载是不是多态？？9. mysql优化 - mysql 多表联合查询，求一个效率最高的查询10. 微信支付 - python做微信企业付款出现CA证书错误
排行榜
网公网安备