文章详情页
python - 使用scrapy框架爬百度图片被墙
浏览：52日期：2022-06-30 14:19:37
问题描述
请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。
https://image.baidu.com/searc...
问题解答
回答1：在 settings.py 将 ROBOTSTXT_OBEY = False 试试。
回答2：不要加hearders试试
回答3：赞成楼上，如果还会被墙。可采用scrapy+selenium+phantomjs的方式。
相关文章：
1. docker安装后出现Cannot connect to the Docker daemon.2. angular.js - 报这个错是什么原因呢？没有显示，因为报错，可是controller里没有这个错3. angular.js - angularJs里面的这种判断自动生成的注释可以去掉吗？4. angular.js - 有没有不需要先git clone xxxx的angular2的教程？5. angular.js - angularjs 中ui-sref里的地址会和浏览器里的不一致6. 用Java写发送邮件的程序，经常被当做垃圾邮件处理怎么解决7. angular.js - Angular directive遇到的一个问题，急救8. java - Spring boot启动时报错？9. android - recyclerview显示错乱10. windows docker-machine port
排行榜
网公网安备