文章详情页
python - 基于scrapy-redis的分布式爬虫运行的时候不能正常运行 遇到的问题如下截图所示
浏览：162日期：2022-08-03 11:20:00
问题描述
爬虫运行时一直是这样的每一分钟出现一条这样的信息，无限循环。不能爬取下来数据
这是redis服务端的显示
这样是什么问题，望有高手可以为我解惑，谢谢。
问题解答
回答1：使用scrapy_redis，你要去投放url让spider去爬取，你投放了吗？比如
redis-cli lpush myspider:start_urls http://google.com
相关文章：
1. docker网络端口映射，没有方便点的操作方法么？2. MYSQL新建用户设置可以远程访问的问题3. python - 求一个在def中可以实现调用本def满足特定条件continue效果的方法（标题说不太清楚，请见题内描述）4. 关docker hub上有些镜像的tag被标记““This image has vulnerabilities””5. mysql - SQL操作时间的函数?6. javascript - ionic run android报错7. golang - 用IDE看docker源码时的小问题8. 正则表达式 - python pandas的sep参数问题9. docker内创建jenkins访问另一个容器下的服务器问题10. javascript - 用表单提交两个时间段请求后台返回对应数据时出现的一些问题！
排行榜
网公网安备