文章详情页
python - 为什么感觉 pyspider 爬取的速度好慢
浏览：264日期：2022-08-08 09:43:03
问题描述
为什么感觉 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因为有些网页会 retry，不过成功率倒是比自己爬取的高多了。是不是我的使用方法不对？求解释
问题解答
回答1：这里可以设置 web ui 控制台上的 rate/burst 参数来调节速度，rate 是 每秒抓取的数量，burst 是并发的数量，默认是 1/3 所以比较慢，还是对这个工具了解不够呀
回答2：我没有用过框架来写爬虫，但是我在自己写爬虫的时候，并发写起来，模型越复杂(如线程控制，线程状态监控)，效率是越低的。
相关文章：
1. 关于docker下的nginx压力测试2. mysql - 仅仅只是把单引号与反斜杠转义不用prepare statement能否避免sql注入？3. 如何解决Centos下Docker服务启动无响应，且输入docker命令无响应？4. docker api 开发的端口怎么获取？5. docker 下面创建的IMAGE 他们的 ID 一样？这个是怎么回事？？？？6. docker网络端口映射，没有方便点的操作方法么？7. html5 - 请问一下写H5的时候 你们都是兼容那些手机8. docker-machine添加一个已有的docker主机问题9. sublime-text - sublime text 3中编译python（sublimeREPL），如何仅运行单行/选定部分10. python - 字符串里的u’u00a1’怎么打印成中文
排行榜
网公网安备