文章详情页
python - scrapy抓取知网response的内容重复
浏览：90日期：2022-06-27 08:47:44
问题描述
遍历请求翻页的url
for i in range(3): yield Request('http:xx/page/%s'%str(i),callback=self.parse_page)
结果response请求成功 但是每次内容都一样的没变化都是第一次请求时的内容，但是用postman分别请求分页的url就没有这问题。= = 是被ban了吗 之前就不会这样
问题解答
回答1：那就要分析一下用postman或者浏览器访问时请求的header头和用scrapy请求头有什么区别
回答2：被反爬识别到了
回答3：看下控制台打印的log，看看是否正确抓取了下一页2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一个x(http:xx/page/x)是否是变化的
相关文章：
1. javascript - node.js promise没用2. node.js - nodejs如何发送请求excel文件并下载3. docker-machine添加一个已有的docker主机问题4. golang - 用IDE看docker源码时的小问题5. docker - 各位电脑上有多少个容器啊？容器一多，自己都搞混了，咋办呢？6. angular.js - 为什么给 Angular 指令绑定事件无法生效7. 为什么我ping不通我的docker容器呢？？？8. java - 我在用Struts2上传文件时，报以下错误怎么回事？9. android 如何实现如图中的键盘上的公式及edittext的内容展示呢10. MySQL如何实现表中再嵌套一个表？
排行榜
网公网安备