文章详情页
python - 使用scrapy框架爬百度图片被墙
浏览：146日期：2022-06-30 14:19:37
问题描述
请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。
https://image.baidu.com/searc...
问题解答
回答1：在 settings.py 将 ROBOTSTXT_OBEY = False 试试。
回答2：不要加hearders试试
回答3：赞成楼上，如果还会被墙。可采用scrapy+selenium+phantomjs的方式。
相关文章：
1. html5 - node静态资源服务器设置了Cache-Control，但浏览器从来不走3042. android - ionic应用打包部署了，但是连接不上服务器，就连写一个a标签链接到百度都不可以3. 老师百度网盘分享一下WampServer的包啊,我们下载几kb要下载一天的.4. 前端 - node vue webpack项目文件结构5. node.js - vue 子组件的菜单 如何与 父组件 通信?6. javascript - 请问如何在pc端网站调用微信支付的接口7. webpack - vue-cli写的项目（本地跑没有问题），准备放到Nginx服务器上，有什么配置需要改的？还有怎么部署？8. 微信内网页上传图片问题9. javascript - 百度的webuploader上传的问题10. javascript - echart+百度地图
排行榜
网公网安备