文章详情页
python - 使用scrapy框架爬百度图片被墙
浏览：134日期：2022-06-30 14:19:37
问题描述
请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。
https://image.baidu.com/searc...
问题解答
回答1：在 settings.py 将 ROBOTSTXT_OBEY = False 试试。
回答2：不要加hearders试试
回答3：赞成楼上，如果还会被墙。可采用scrapy+selenium+phantomjs的方式。
相关文章：
1. vue.js - linux下怎么使用vue-cli的vue命令2. javascript - 如图，百度首页，查看源代码为什么什么都没有？3. 微信内网页上传图片问题4. javascript - js的string数据类型，这段表述是什么意思？5. 怎样在java中查询mysql得到如下的json格式的结果？6. webpack - vue-cli写的项目（本地跑没有问题），准备放到Nginx服务器上，有什么配置需要改的？还有怎么部署？7. 极光推送 - Android app消息推送 百度 极光 个推 信鸽哪个好一些？8. 什么是前后端分离？用vue angular等js框架就能实现前后分离了吗？9. ddos - apache日志很多其它网址，什么情况？10. android - 百度地图加载完成监听
排行榜
网公网安备