您的位置：首页技术文章
文章详情页

python - scrapy抓取知网response的内容重复

浏览：182日期：2022-06-27 08:47:44

问题描述

遍历请求翻页的url

for i in range(3): yield Request('http:xx/page/%s'%str(i),callback=self.parse_page)

结果response请求成功 但是每次内容都一样的没变化都是第一次请求时的内容，但是用postman分别请求分页的url就没有这问题。= = 是被ban了吗 之前就不会这样

问题解答

回答1：

那就要分析一下用postman或者浏览器访问时请求的header头和用scrapy请求头有什么区别

回答2：

被反爬识别到了

回答3：

看下控制台打印的log，看看是否正确抓取了下一页2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一个x(http:xx/page/x)是否是变化的

标签： Python 编程
上一条：PC端访问却变成移动端地址问题#python#scrapy下一条：【python小白】 问关于导入嵌套的包的问题
相关文章：
1. dockerfile - [docker build image失败- npm install]2. docker-compose中volumes的问题3. boot2docker无法启动4. docker网络端口映射，没有方便点的操作方法么？5. docker gitlab 如何git clone？6. dockerfile - 我用docker build的时候出现下边问题 麻烦帮我看一下7. 关docker hub上有些镜像的tag被标记““This image has vulnerabilities””8. docker api 开发的端口怎么获取？9. docker不显示端口映射呢？10. docker images显示的镜像过多，狗眼被亮瞎了，怎么办？
排行榜
dockerfile - [docker build image失败- npm install]
dockerfile - [docker build image失败- npm install]
1. boot2docker无法启动
2. docker网络端口映射，没有方便点的操作方法么？
3. docker-compose中volumes的问题
4. dockerfile - 我用docker build的时候出现下边问题 麻烦帮我看一下
5. 关于docker下的nginx压力测试
6. 关docker hub上有些镜像的tag被标记““This image has vulnerabilities””
7. docker镜像push报错
8. docker-machine添加一个已有的docker主机问题
9. docker api 开发的端口怎么获取？
10. docker gitlab 如何git clone？
热门标签