文章详情页
javascript - Python 爬虫 Ajax 页面直接request获取居然速度比selenium慢。
浏览：131日期：2022-08-04 16:42:25
问题描述
因为在爬取的网站需要账号登陆，不方便公开。因此我只能这样大致性的咨询，实在抱歉。
我需要爬一个目标网站的数据，发现在点击下一页时候，网址并没有改变.通过源码确定是使用了js外加ajax的样子.通过chrome的控制台，捕获到点击下一页时候，向指定地址发送了一条带多个参数的get指令。
原先采用selenium+phantomjs的方式暴力无脑方式爬取，一个页面大概5S左右就能获取，实际用浏览器打开也是这个速度。为了爬取大量的数据，准备改用多线程+直接requests.get目标地址的方式来采集，但是发现采集速度非常的慢，从5S降到的20s左右。
请教下，出现这样现象的原因可能是什么？我该如何解决？请指教
问题解答
回答1：抱歉 浪费了各位的时间- -是我开始测试的时候，周围有人再下迅雷，网络炸了。抱歉 抱歉
相关文章：
1. javascript - swiper.js嵌套了swiper 初始设置不能向下一个滑动 结束后重新初始2. angular.js - angular-ui-bootstrap 报错无法使用？3. 为什么span的color非要内联样式才起作用？4. docker - 如何修改运行中容器的配置5. python - 如何修改twisted自带的日志输出格式?6. 老师，请问我打开browsersync出现这个问题怎么解决啊？7. 请问一下各位老鸟 我一直在学习独孤九贱 现在是在tp5 今天发现 这个系列视频没有实战8. 求救一下，用新版的phpstudy，数据库过段时间会消失是什么情况？9. html5 - H5做的手机分享页微信更新后，分享出去不再默认显示第一个图 作为缩略图10. 高并发写入和更新mysql
排行榜
网公网安备