文章详情页
python - 为什么感觉 pyspider 爬取的速度好慢
浏览：120日期：2022-08-08 09:43:03
问题描述
为什么感觉 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因为有些网页会 retry，不过成功率倒是比自己爬取的高多了。是不是我的使用方法不对？求解释
问题解答
回答1：这里可以设置 web ui 控制台上的 rate/burst 参数来调节速度，rate 是 每秒抓取的数量，burst 是并发的数量，默认是 1/3 所以比较慢，还是对这个工具了解不够呀
回答2：我没有用过框架来写爬虫，但是我在自己写爬虫的时候，并发写起来，模型越复杂(如线程控制，线程状态监控)，效率是越低的。
相关文章：
1. java固定键值转换，使用枚举实现字典？2. javascript - 移动端开发 H5 页面在 iOS手机上无法实现 长按复制文本 求解决3. 如何解决tp6在zend中无代码提示4. java - HTTPS双向认证基础上有无必要再进行加签验签？5. python - flask学习，user_syy添加报role is invalid keyword for User.6. vim - win10无法打开markdown编辑器7. java - 读写锁中 写锁的降级问题8. javascript - 有没有类似高铁管家的时间选择插件9. html - 如何使用用户输入的数据去运行一个数学公式，最后怎么返回。10. css - BEM 中块(Block)有木有什么标准 何时决定一个部分提取为块而不是其父级的元素呢(Element)?~
排行榜
网公网安备