文章详情页
python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示
浏览：191日期：2022-08-03 11:20:00
问题描述
爬虫运行时一直是这样的每一分钟出现一条这样的信息，无限循环。不能爬取下来数据
这是redis服务端的显示
这样是什么问题，望有高手可以为我解惑，谢谢。
问题解答
回答1：使用scrapy_redis，你要去投放url让spider去爬取，你投放了吗？比如
redis-cli lpush myspider:start_urls http://google.com
相关文章：
1. 修改mysql配置文件的默认字符集重启后依然不生效2. Android-studio导入.so库问题？3. docker容器呢SSH为什么连不通呢？4. java - mybatis源码分析5. 在windows下安装docker Toolbox 启动Docker Quickstart Terminal 失败！6. docker内创建jenkins访问另一个容器下的服务器问题7. css - html根字体设置成很大的值后， 包裹了行内元素的div莫名变高是什么原因8. 请教一个python字符串处理的问题？9. docker api 开发的端口怎么获取？10. docker网络端口映射，没有方便点的操作方法么？
排行榜
网公网安备