文章详情页
python - 使用scrapy框架爬百度图片被墙
浏览：95日期：2022-06-30 14:19:37
问题描述
请求地址url是通过firefox查看得到的json的地址，用浏览器可以打开，但是用scrapy爬的时候就被ban了求解决办法。
https://image.baidu.com/searc...
问题解答
回答1：在 settings.py 将 ROBOTSTXT_OBEY = False 试试。
回答2：不要加hearders试试
回答3：赞成楼上，如果还会被墙。可采用scrapy+selenium+phantomjs的方式。
相关文章：
1. python小白 关于类里面的方法获取变量失败的问题2. thinkPHP5中获取数据库数据后默认选中下拉框的值，传递到后台消失不见。有图有代码，希望有人帮忙3. linux运维 - python远程控制windows如何实现4. Python2中code.co_kwonlyargcount的等效写法5. python - 如何对列表中的列表进行频率统计？6. django - Python error: [Errno 99] Cannot assign requested address7. mysql数据库做关联一般用id还是用户名8. javascript - 如何用最快的速度C#或Python开发一个桌面应用程序来访问我的网站？9. 求救一下，用新版的phpstudy，数据库过段时间会消失是什么情况？10. python小白，关于函数问题
排行榜
网公网安备