文章详情页
python - 使用scrapy框架爬百度图片被墙
浏览：194日期：2022-06-30 14:19:37
问题描述
请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。
https://image.baidu.com/searc...
问题解答
回答1：在 settings.py 将 ROBOTSTXT_OBEY = False 试试。
回答2：不要加hearders试试
回答3：赞成楼上，如果还会被墙。可采用scrapy+selenium+phantomjs的方式。
相关文章：
1. 关docker hub上有些镜像的tag被标记““This image has vulnerabilities””2. boot2docker无法启动3. docker-compose中volumes的问题4. docker安装后出现Cannot connect to the Docker daemon.5. nignx - docker内nginx 80端口被占用6. javascript - mock.js可以存储数据吗7. docker网络端口映射，没有方便点的操作方法么？8. java - SSH框架中写分页时service层中不能注入分页类9. docker images显示的镜像过多，狗眼被亮瞎了，怎么办？10. java - Spring事务回滚问题
排行榜
网公网安备