python - Scrapy的spider在IDE中方便运行调试

问题描述

我有很多spider，不能每次调试都手动创建一个debugger吧（scrapy crawl spider_name）

想可以在spider文件中直接右键运行/调试。

问题解答

参考文章：Scrapy爬虫常见问题总结

在spider文件中，加入cmdline的调用方法

import scrapy.cmdline#Your Spider Class...def main(): scrapy.cmdline.execute([’scrapy’, ’crawl’, ’your_spider_name’])if __name__ == ’__main__’: main()回答2：

新建一个py文件，用这个来调试

from scrapy.cmdline import executeimport sysimport ossys.path.append(os.path.dirname(os.path.abspath(__file__)))execute(['scrapy','crawl','YOUR_SPIDER'])