文章详情页
python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示
浏览:139日期:2022-08-03 11:20:00
问题描述
爬虫运行时一直是这样的每一分钟出现一条这样的信息,无限循环。不能爬取下来数据
这是redis服务端的显示
这样是什么问题,望有高手可以为我解惑,谢谢。
问题解答
回答1:使用scrapy_redis,你要去投放url让spider去爬取,你投放了吗?比如
redis-cli lpush myspider:start_urls http://google.com
相关文章:
1. javascript - vue 怎么渲染自定义组件2. javascript - [MUI 子webview定位]3. mysql - 记得以前在哪里看过一个估算时间的网站4. 请教各位大佬,浏览器点 提交实例为什么没有反应5. javascript - 怎么看网站用了什么技术框架?6. javascript - Vue 的依赖追踪属于单向数据绑定还是双向绑定?7. javascript - node服务端渲染的困惑8. python3.x - c++调用python39. 学习这个是不是要先学下css?10. javascript - 单个页面执行多个jsonp的ajax请求,如何判断一个ajax请求执行完毕执行再另一个?
排行榜
