文章详情页
python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示
浏览:178日期:2022-08-03 11:20:00
问题描述

爬虫运行时一直是这样的每一分钟出现一条这样的信息,无限循环。不能爬取下来数据
这是redis服务端的显示
这样是什么问题,望有高手可以为我解惑,谢谢。
问题解答
回答1:使用scrapy_redis,你要去投放url让spider去爬取,你投放了吗?比如
redis-cli lpush myspider:start_urls http://google.com
相关文章:
排行榜

网公网安备