文章详情页
python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据？
浏览：251日期：2022-08-10 17:31:34
问题描述
请求所需参数全部带上了，并且已带上cookies,已修改header，拿到的数据是提示刷新的HTML，如图：
原网页是动态加载的瀑布流，即往不断下拉就不断有内容呈现出来，静候大神，目前采用scrapy框架，暂时还不想上selenium+phantomjs，太重了
问题解答
回答1：动态加载的数据你应该找ajax api请求，而不是在网页找，工欲善其事必先利其器，善用 F12。
回答2：这种情况比抓取一个代理ip网页，使用cookie但是报错好解决多了＝＝，你完全可以判断当前页面内容然后进行模拟刷新～ 重要的是保持会话。
如果还不行的话，可以加referer再试一试
相关文章：
1. 请教各位大佬，浏览器点 提交实例为什么没有反应2. PHP类中的$this3. html - 急求，能否用flex或者高端点的CSS来布局这个图呢？不想用浮动或定位了4. javascript - 百度坐标,返回目标附近有哪些坐标5. java - spring是不是相比其他框架要慢一些？6. javascript - 关于jsp中嵌入js代码的问题7. javascript - datepicker如何直接显示插件？8. javascript - F12进入开发者中心的时候网站根据适口变化跳转到他的移动端网页了？9. javascript - 初学angularJS+express，路由路径中/转换成%2F，导致路径失效，求原因？10. html5 - 只用CSS如何实现input框的宽度随框里输入的内容长短自动适应？
排行榜
网公网安备