python - Scrapy ItemLoader数据清洗疑问

问题描述

在使用scrapy抓取数据时，利用itemloader这个类，使用selector取出的值为空时，进入scrapy.Field()里调用filter()，selector取值不为空的确返回'有值'，如果selector取出[]或'',那么value进入filter()之后，并不会返回'无值'

def filter(value): if value:return '有值' else:return '无值' # 下面就简写了，熟悉的应该能看的懂 scrapy.Field(filter())

有什么办法将抓取为空的值，经过filyer()之后变成'无值'

问题解答

谢邀~不太了解Scrapy，所以题主这个我不太好说我用PHP自己写的爬虫大体思路是：1.先是根据正则和一些循环，把要收集的页面放到队列里，按类别分类，例如分页的列表页一个队列，列表里的数据内容页一个队列。2.然后利用xpath来爬取相关内容页的数据，爬取的过程中对一些爬取到的数据进行如题主所需的那样进行处理。3.组装数据，按照自己所需的标准保存数据。

大体就是这样，我绝对大部分爬虫框架也大概都是这种思路吧，无非是在此基础上增加了，反爬机制，多线程，多进程，增量爬取等等功能。所以，题主找到你这个框架的爬取数据那里进行处理或组装数据的地方进行处理都行。