文章详情页
python - 爬取某网站时需要浏览器刷新一次才能返回真实的页面数据？
浏览：99日期：2022-08-10 17:31:34
问题描述
请求所需参数全部带上了，并且已带上cookies,已修改header，拿到的数据是提示刷新的HTML，如图：
原网页是动态加载的瀑布流，即往不断下拉就不断有内容呈现出来，静候大神，目前采用scrapy框架，暂时还不想上selenium+phantomjs，太重了
问题解答
回答1：动态加载的数据你应该找ajax api请求，而不是在网页找，工欲善其事必先利其器，善用 F12。
回答2：这种情况比抓取一个代理ip网页，使用cookie但是报错好解决多了＝＝，你完全可以判断当前页面内容然后进行模拟刷新～ 重要的是保持会话。
如果还不行的话，可以加referer再试一试
相关文章：
1. javascript - 怎么实现让 div 里面的 img 元素 中心居中, 如下示例图2. html5 - 使用angular中，图片上传功能中选择多张图片是怎么实现的？有什么好的思路吗？3. 微信开放平台 - ios APP能不能打开微信然后通过微信跳转到指定的URL？4. javascript - vue引入样式的问题5. javascript - 移动端一个小效果6. javascript - vue+iview upload传参失败 跨域问题后台已经解决 仍然报403，这是怎么回事啊？7. Mac环境下QT编译MySQL驱动屡次失败？如何？8. php - 微信开发验证服务器有效性9. javascript - 如何做出pc网站随鼠标滚动动态出现效果10. javascript - nodejs调用qiniu的第三方资源抓取，返回401 bad token，为什么
排行榜
网公网安备