文章详情页
python - 使用scrapy框架爬百度图片被墙
浏览：180日期：2022-06-30 14:19:37
问题描述
请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。
https://image.baidu.com/searc...
问题解答
回答1：在 settings.py 将 ROBOTSTXT_OBEY = False 试试。
回答2：不要加hearders试试
回答3：赞成楼上，如果还会被墙。可采用scrapy+selenium+phantomjs的方式。
相关文章：
1. chrome - linux系统下如何通过java获取客户端ip和mac地址？2. java - Activity 进入后台再次传值?3. angular.js - ng-include 会缓存html吗？4. css - 手机app中rem的基准值计算错误5. javascript - sublime已经安装了babel插件和sublimelinter-jshint为什么还是显示es6语法错误？6. java - git项目迁移到SVN怎么实现的？哪位大神指点指点7. 前端 - 在webstrom上pull代码时出现错误？8. css如何实现图标和文字的“绝对对齐”呢？9. java - Spring boot项目 可以通过ip+port+contentPath就直接显示所有的接口地址和数据信息,这是为什么???10. css3的transform问题
排行榜
网公网安备