文章详情页
python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示
浏览：118日期：2022-08-03 11:20:00
问题描述
爬虫运行时一直是这样的每一分钟出现一条这样的信息，无限循环。不能爬取下来数据
这是redis服务端的显示
这样是什么问题，望有高手可以为我解惑，谢谢。
问题解答
回答1：使用scrapy_redis，你要去投放url让spider去爬取，你投放了吗？比如
redis-cli lpush myspider:start_urls http://google.com
相关文章：
1. docker安装后出现Cannot connect to the Docker daemon.2. docker gitlab 如何git clone？3. android - 项目时间长了，字符串文件strings有的字符串可能是多余的，有没有办法快速检测那些是没用的？4. javascript - 怎么看网站用了什么技术框架？5. mysql - 用PHPEXCEL将excel文件导入数据库数据5000+条，本地数据库正常，线上只导入15条，没有报错，哪里的问题？6. java报错Communications link failure 该如何解决？7. 刷新页面出现弹框8. 关于Android权限的获取问题，大家遇到过这样的情况嘛？9. angular.js - angularJs ngRoute怎么在路由传递空字符串及用ng-switch取得10. PC 手机兼容的 编辑器
排行榜
网公网安备