文章详情页
python - 为什么感觉 pyspider 爬取的速度好慢
浏览：153日期：2022-08-08 09:43:03
问题描述
为什么感觉 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因为有些网页会 retry，不过成功率倒是比自己爬取的高多了。是不是我的使用方法不对？求解释
问题解答
回答1：这里可以设置 web ui 控制台上的 rate/burst 参数来调节速度，rate 是 每秒抓取的数量，burst 是并发的数量，默认是 1/3 所以比较慢，还是对这个工具了解不够呀
回答2：我没有用过框架来写爬虫，但是我在自己写爬虫的时候，并发写起来，模型越复杂(如线程控制，线程状态监控)，效率是越低的。
相关文章：
1. javascript - 在页面最顶部插个广告，怎么做才能不破坏页面布局（不影响下面的内容）？2. 编写CSS3样式时，不同的浏览器可能需要不同的前缀。 前缀怎么加？加在什么地方，何时加？3. vue页面跳转实现页面缓存操作4. vue.js - linux下怎么使用vue-cli的vue命令5. 什么是前后端分离？用vue angular等js框架就能实现前后分离了吗？6. android - Genymotion 微信闪退 not find plugin.location_google.GoogleProxyUI7. javascript - onfocus="this.type=’password’"，为什么不直接用type=’password’8. android 小米手机用第三方登陆qq，授权之后请求参数不规范？9. vuejs组件内的props的属性赋值问题？10. html - 为什么BeautifulSoup find_all 返回的list都不是按照网页显示顺序排序的？
排行榜
网公网安备