文章详情页
python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示
浏览：103日期：2022-08-03 11:20:00
问题描述
爬虫运行时一直是这样的每一分钟出现一条这样的信息，无限循环。不能爬取下来数据
这是redis服务端的显示
这样是什么问题，望有高手可以为我解惑，谢谢。
问题解答
回答1：使用scrapy_redis，你要去投放url让spider去爬取，你投放了吗？比如
redis-cli lpush myspider:start_urls http://google.com
相关文章：
1. javascript - node.js promise没用2. node.js - nodejs如何发送请求excel文件并下载3. docker-machine添加一个已有的docker主机问题4. golang - 用IDE看docker源码时的小问题5. docker - 各位电脑上有多少个容器啊？容器一多，自己都搞混了，咋办呢？6. angular.js - 为什么给 Angular 指令绑定事件无法生效7. 为什么我ping不通我的docker容器呢？？？8. java - 我在用Struts2上传文件时，报以下错误怎么回事？9. android 如何实现如图中的键盘上的公式及edittext的内容展示呢10. MySQL如何实现表中再嵌套一个表？
排行榜
网公网安备