文章详情页
python - scrapy 爬取pages比实际进入items的多得多？
浏览：159日期：2022-07-23 10:55:26
问题描述
2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)
为什么我使用scrapy爬取的时候访问pages要比实际进入items的的多的多?就是爬了半天items里没有几条数据入库的有什么办法解决么？
问题解答
回答1：重定向了，你看到了吧，重定向就得请求两个页面啊。还有就是看有不有页面解析发生了错误。
相关文章：
1. docker不显示端口映射呢？2. vim - docker中新的ubuntu12.04镜像,运行vi提示,找不到命名.3. docker - 各位电脑上有多少个容器啊？容器一多，自己都搞混了，咋办呢？4. nignx - docker内nginx 80端口被占用5. angular.js使用$resource服务把数据存入mongodb的问题。6. docker容器呢SSH为什么连不通呢？7. docker内创建jenkins访问另一个容器下的服务器问题8. dockerfile - [docker build image失败- npm install]9. debian - docker依赖的aufs-tools源码哪里可以找到啊？10. docker start -a dockername 老是卡住，什么情况？
排行榜
网公网安备