文章详情页
python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据？
浏览：231日期：2022-08-10 17:31:34
问题描述
请求所需参数全部带上了，并且已带上cookies,已修改header，拿到的数据是提示刷新的HTML，如图：
原网页是动态加载的瀑布流，即往不断下拉就不断有内容呈现出来，静候大神，目前采用scrapy框架，暂时还不想上selenium+phantomjs，太重了
问题解答
回答1：动态加载的数据你应该找ajax api请求，而不是在网页找，工欲善其事必先利其器，善用 F12。
回答2：这种情况比抓取一个代理ip网页，使用cookie但是报错好解决多了＝＝，你完全可以判断当前页面内容然后进行模拟刷新～ 重要的是保持会话。
如果还不行的话，可以加referer再试一试
相关文章：
1. docker images显示的镜像过多，狗眼被亮瞎了，怎么办？2. docker api 开发的端口怎么获取？3. docker镜像push报错4. PHP中的$this代表当前的类还是方法？5. macos - mac下docker如何设置代理6. 如何解决Centos下Docker服务启动无响应，且输入docker命令无响应？7. 老师，flex-shrink: 1; 按视频操作，不会自动缩放8. 前端 - 类到底该如何去命名 .newsList 这种的命名难道真的不是过度语义化吗？~9. sublime-text - sublime text 3中编译python（sublimeREPL），如何仅运行单行/选定部分10. android glide asbitmap 在baseadpter中的问题
排行榜
网公网安备