文章详情页
python - 使用scrapy框架爬百度图片被墙
浏览：151日期：2022-06-30 14:19:37
问题描述
请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。
https://image.baidu.com/searc...
问题解答
回答1：在 settings.py 将 ROBOTSTXT_OBEY = False 试试。
回答2：不要加hearders试试
回答3：赞成楼上，如果还会被墙。可采用scrapy+selenium+phantomjs的方式。
相关文章：
1. javascript - webpack 多入口文件生成HTML文件；2. docker安装后出现Cannot connect to the Docker daemon.3. nignx - docker内nginx 80端口被占用4. node.js - mongoDB使用$gte的问题5. 计算机 - 我学习了C语言，数据结构和一点点java基础，想自学C++，请问买什么入门书籍好？6. java中关于直接插入排序遇到的问题。7. java - 如图，jsp页面的form中的action是怎么映射到这个位置的？为什么不写dynUser就可以映射到save？8. javascript - npm run build后调用api返回index.html9. docker绑定了nginx端口 外部访问不到10. 我在centos容器里安装docker，也就是在容器里安装容器，报错了？
排行榜
网公网安备