文章详情页
javascript - Python 爬虫 Ajax 页面直接request获取居然速度比selenium慢。
浏览:79日期:2022-08-04 16:42:25
问题描述
因为在爬取的网站需要账号登陆,不方便公开。因此我只能这样大致性的咨询,实在抱歉。
我需要爬一个目标网站的数据,发现在点击下一页时候,网址并没有改变.通过源码确定是使用了js外加ajax的样子.通过chrome的控制台,捕获到点击下一页时候,向指定地址发送了一条带多个参数的get指令。
原先采用selenium+phantomjs的方式暴力无脑方式爬取,一个页面大概5S左右就能获取,实际用浏览器打开也是这个速度。为了爬取大量的数据,准备改用多线程+直接requests.get目标地址的方式来采集,但是发现采集速度非常的慢,从5S降到的20s左右。
请教下,出现这样现象的原因可能是什么?我该如何解决?请指教
问题解答
回答1:抱歉 浪费了各位的时间- -是我开始测试的时候,周围有人再下迅雷,网络炸了。抱歉 抱歉
相关文章:
1. java - jvm 年轻代 如何回收 survivor 对象2. docker-compose中volumes的问题3. dockerfile - [docker build image失败- npm install]4. java - 对于jsp技术,aspx技术的困惑5. java - idea如何不显示.idea target这些文件夹6. javascript - [,null]是什么用法7. java - spring-data Jpa 不需要执行save 语句,Set字段就可以自动执行保存的方法?求解8. css - 使用blur()滤镜为什么有透明的效果9. javascript - 移动端H5页面禁止缩放了,在浏览器上仍然可以缩放10. javascript - vue vue-router 报$router重复定义
排行榜
