文章详情页
python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据？
浏览：143日期：2022-08-10 17:31:34
问题描述
请求所需参数全部带上了，并且已带上cookies,已修改header，拿到的数据是提示刷新的HTML，如图：
原网页是动态加载的瀑布流，即往不断下拉就不断有内容呈现出来，静候大神，目前采用scrapy框架，暂时还不想上selenium+phantomjs，太重了
问题解答
回答1：动态加载的数据你应该找ajax api请求，而不是在网页找，工欲善其事必先利其器，善用 F12。
回答2：这种情况比抓取一个代理ip网页，使用cookie但是报错好解决多了＝＝，你完全可以判断当前页面内容然后进行模拟刷新～ 重要的是保持会话。
如果还不行的话，可以加referer再试一试
相关文章：
1. angular.js - ng-grid 和tabset一起用时，grid width默认特别小2. html - 特殊样式按钮 点击按下去要有凹下和弹起的效果3. android有ldpi, mdpi, hdpi, xhdpi这些drawable文件夹，系统是依据什么去选择的？4. java - yuicompressor-maven-plugin 合并可用却不压缩, 哪配置不对？5. Java中的多人游戏。将客户端（玩家）连接到其他客户端创建的游戏6. android - textview在获取网络数据填充之后，占据的是默认的大小，点击之后才会包裹内容。7. Java 在内部类中访问变量。需要宣布为最终8. word-wrap该如何使用？9. angular.js - angularjs 与requirejs集成10. python的文件读写问题？
排行榜
网公网安备