文章详情页
python - pyspider 定时爬取问题
浏览：218日期：2022-07-14 10:37:31
问题描述
在写爬虫的时候，发现 在代码中设置了 every 之后，21号爬取了一次之后，今天看 result 没有更新，那个 lastcrawltime 依旧是 21号的。请问是不是我的参数设置的不正确？
问题解答
回答1：你贴的这个 task 的图，是什么任务的？
贴的是 detail_page 的任务的
题主给 index_page 设置了小于 cronjob 间隔的时间。然而没有给 detail_page 设置。这样 detail_page 是不会被重新调度的
project 队列状态，最近活动任务是怎样的？
回答2：有可能是 every 和 age 不匹配。如果 age 没问题的话，说实话这属于疑难杂症了，我也经常遇到，我都是去 taskdb 把相应的表清空，然后重启 pyspider 重新运行项目
相关文章：
1. docker start -a dockername 老是卡住，什么情况？2. 小白问题getDay()3. 请问一下各位老鸟 我一直在学习独孤九贱 现在是在tp5 今天发现 这个系列视频没有实战4. 求救一下，用新版的phpstudy，数据库过段时间会消失是什么情况？5. 关于docker下的nginx压力测试6. 老师，请问我打开browsersync出现这个问题怎么解决啊？7. golang - 用IDE看docker源码时的小问题8. python - 多线程小白求问这样的IP要怎么实现多线程print？9. 是真的吗？ Linux 下 mysql 使用 localhost 比 127.0.0.1 快10. mysql问题请教
排行榜
网公网安备