文章详情页
python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示
浏览：217日期：2022-08-03 11:20:00
问题描述
爬虫运行时一直是这样的每一分钟出现一条这样的信息，无限循环。不能爬取下来数据
这是redis服务端的显示
这样是什么问题，望有高手可以为我解惑，谢谢。
问题解答
回答1：使用scrapy_redis，你要去投放url让spider去爬取，你投放了吗？比如
redis-cli lpush myspider:start_urls http://google.com
相关文章：
1. javascript - js输入框限定字数问题2. php - 微信开发验证服务器有效性3. css3 - 微信前端页面遇到的transition过渡动画的bug4. javascript - Ajax返回json格式之后的数据解析后取出来的数据为undefined？5. javascript - jquery选择的dom元素如何更新？6. 网页爬虫 - 关于Python的编码与解码问题7. javascript - Webapp 关闭后重新打开无需登录如何操作？8. python如何设置一个随着系统时间变化的动态变量？9. 个人主页博客统计中的“进入博客”不能点击10. Browser-sync安装失败问题
排行榜
网公网安备