文章详情页
python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据？
浏览：185日期：2022-08-10 17:31:34
问题描述
请求所需参数全部带上了，并且已带上cookies,已修改header，拿到的数据是提示刷新的HTML，如图：
原网页是动态加载的瀑布流，即往不断下拉就不断有内容呈现出来，静候大神，目前采用scrapy框架，暂时还不想上selenium+phantomjs，太重了
问题解答
回答1：动态加载的数据你应该找ajax api请求，而不是在网页找，工欲善其事必先利其器，善用 F12。
回答2：这种情况比抓取一个代理ip网页，使用cookie但是报错好解决多了＝＝，你完全可以判断当前页面内容然后进行模拟刷新～ 重要的是保持会话。
如果还不行的话，可以加referer再试一试
相关文章：
1. 为什么span的color非要内联样式才起作用？2. angular.js - angular-ui-bootstrap 报错无法使用？3. javascript - swiper.js嵌套了swiper 初始设置不能向下一个滑动 结束后重新初始4. python - Django ManyToManyField 字段数据在 admin后台 显示不正确，这是怎么回事？5. python - 如何修改twisted自带的日志输出格式?6. docker - 如何修改运行中容器的配置7. 求救一下，用新版的phpstudy，数据库过段时间会消失是什么情况？8. 请问一下各位老鸟 我一直在学习独孤九贱 现在是在tp5 今天发现 这个系列视频没有实战9. 在cmd下进入mysql数据库，可以输入中文，但是查看表信息，不显示中文，是怎么回事，怎新手，请老师10. 如何使用git对word文档进行版本控制？
排行榜
网公网安备