文章详情页
python - scrapy 爬取pages比实际进入items的多得多？
浏览：101日期：2022-07-23 10:55:26
问题描述
2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)
为什么我使用scrapy爬取的时候访问pages要比实际进入items的的多的多?就是爬了半天items里没有几条数据入库的有什么办法解决么？
问题解答
回答1：重定向了，你看到了吧，重定向就得请求两个页面啊。还有就是看有不有页面解析发生了错误。
相关文章：
1. javascript - 在静态页面上用load 引入的页面文件问题？2. javascript - webpack打包后的bundlejs文件代码不知道什么意思.3. android - RxJavar用什么操作符可以使数据每隔一段时间取出一个4. Android的webView如何实现网页 录音功能？5. java - oracle对汉字字段按照拼音排序的函数和sql语句是什么？6. css - 关于ul的布局7. css - 如何使用 vue transition 实现 ios 按钮一样的平滑切换效果8. Java游戏服务器开发和网站、app服务端的开发都差不多的吗？？？实现的思路和方法9. javascript - vue组件通过eventBus通信时，报错a.$on is not a function10. html - 哪些情况下float会失效？
排行榜
网公网安备