文章详情页
python - 使用scrapy框架爬百度图片被墙
浏览：239日期：2022-06-30 14:19:37
问题描述
请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。
https://image.baidu.com/searc...
问题解答
回答1：在 settings.py 将 ROBOTSTXT_OBEY = False 试试。
回答2：不要加hearders试试
回答3：赞成楼上，如果还会被墙。可采用scrapy+selenium+phantomjs的方式。
相关文章：
1. python - requests post问题2. css3 - 新版支付宝 账单页面滑动时月份栏被下一个月给顶上去是什么效果3. javascript - js 面向对象4. docker镜像push报错5. 把h5放入webview里面，h5页面上下可以回弹，怎么可以去掉该效果6. javascript - Vue 自定义控件v-model双向绑定7. docker start -a dockername 老是卡住，什么情况？8. mysql group by多个字段9. javascript - 关于js原生事件的绑定与解除绑定10. javascript - vuex 参数绑定问题求解
排行榜
网公网安备