文章详情页
javascript - Python 爬虫 Ajax 页面直接request获取居然速度比selenium慢。
浏览：96日期：2022-08-04 16:42:25
问题描述
因为在爬取的网站需要账号登陆，不方便公开。因此我只能这样大致性的咨询，实在抱歉。
我需要爬一个目标网站的数据，发现在点击下一页时候，网址并没有改变.通过源码确定是使用了js外加ajax的样子.通过chrome的控制台，捕获到点击下一页时候，向指定地址发送了一条带多个参数的get指令。
原先采用selenium+phantomjs的方式暴力无脑方式爬取，一个页面大概5S左右就能获取，实际用浏览器打开也是这个速度。为了爬取大量的数据，准备改用多线程+直接requests.get目标地址的方式来采集，但是发现采集速度非常的慢，从5S降到的20s左右。
请教下，出现这样现象的原因可能是什么？我该如何解决？请指教
问题解答
回答1：抱歉 浪费了各位的时间- -是我开始测试的时候，周围有人再下迅雷，网络炸了。抱歉 抱歉
相关文章：
1. MYSQL新建用户设置可以远程访问的问题2. python - 求一个在def中可以实现调用本def满足特定条件continue效果的方法（标题说不太清楚，请见题内描述）3. java - mybatis怎么实现在数据库中有就修改,没有就添加4. $fields = $values = [];这条代码一直定义不了，一直报错，老师的源码也是被报错的,执行不了,请问该怎么解决这个问题5. node.js - nodejs和前端JavaScript 字符串处理结果不一样是什么原因？6. mysql 为何insert的时候会有lock wait timeout 异常7. mysql - 我的myeclipse一直连显示数据库连接失败，不知道为什么8. mysql 5.7单表300万数据，性能严重下降，如何破？9. mysql同步数据到elasticsearch用什么工具？10. 数据库 - mysql 远程可以连接，但是本地连接拒绝？
排行榜
![$fields = $values = [];这条代码一直定义不了，一直报错，老师的源码也是被报错的,执行不了,请问该怎么解决这个问题](http://www.haobala.com/attached/image/news/202205/093622cb60.png)
网公网安备