您的位置：首页技术文章
文章详情页

python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示

浏览：203日期：2022-08-03 11:20:00

问题描述

python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示

爬虫运行时一直是这样的每一分钟出现一条这样的信息，无限循环。不能爬取下来数据python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示

这是redis服务端的显示

这样是什么问题，望有高手可以为我解惑，谢谢。

问题解答

回答1：

使用scrapy_redis，你要去投放url让spider去爬取，你投放了吗？比如

redis-cli lpush myspider:start_urls http://google.com

标签： Python 编程
上一条：python3.x - python中的虚拟环境怎样设置一直处于激活状态下一条：python - scrapy-redis爬虫运行是连接redis数据库连接错误
相关文章：
1. docker绑定了nginx端口 外部访问不到2. Docker for Mac 创建的dnsmasq容器连不上/不工作的问题3. docker-compose 为何找不到配置文件？4. dockerfile - [docker build image失败- npm install]5. boot2docker无法启动6. docker网络端口映射，没有方便点的操作方法么？7. ruby - 关于rails中devise登录用户名的调用问题8. html5 - 如何让H5页面在手机浏览器里和微信全屏显示9. docker api 开发的端口怎么获取？10. docker不显示端口映射呢？
排行榜
docker绑定了nginx端口 外部访问不到
docker绑定了nginx端口 外部访问不到
1. Docker for Mac 创建的dnsmasq容器连不上/不工作的问题
2. docker-compose 为何找不到配置文件？
3. boot2docker无法启动
4. docker网络端口映射，没有方便点的操作方法么？
5. dockerfile - [docker build image失败- npm install]
6. angular.js使用$resource服务把数据存入mongodb的问题。
7. 关docker hub上有些镜像的tag被标记““This image has vulnerabilities””
8. docker-machine添加一个已有的docker主机问题
9. docker api 开发的端口怎么获取？
10. html5 - 如何让H5页面在手机浏览器里和微信全屏显示
热门标签