python - pyspider爬pdf爬了一小段时间后就不动了

问题描述

下载了一小部分之后就不动了，stop之后重新跑也没有任何反应，有人知道是怎么回事吗？谢谢大家。

问题解答

放代码吧 骚年

根据 dashboard 最上方的信息

scheduler 到 fetcher 有100条队列中的任务fetcher 到 processor 也有100条队列中的任务processor 下游都是空的

因为默认的队列容量为 100，这说明在 processor 发生了堵塞，那就要看 processor 在干什么，是不是死掉了。