您的位置：首页技术文章
文章详情页

python - 关于Scrapy中TwistedPipline报错

浏览：145日期：2022-07-10 08:23:55

问题描述

> python3.5 / pycharm

crawlspider 返回的 item 是绝对没有问题的，接上TwistedPipline就报错 请哪位老师帮忙分析下报错代码

# TwistedPiplineclass MysqlTwistedPipline(object): def __init__(self, dbpool):self.dbpool = dbpool @classmethod def from_settings(cls, settings):dbparms = dict( host = settings['MYSQL_HOST'], db = settings['MYSQL_DBNAME'], user = settings['MYSQL_USER'], passwd = settings['MYSQL_PASSWORD'], charset=’utf8’, cursorclass=MySQLdb.cursors.DictCursor, use_unicode=True,)dbpool = adbapi.ConnectionPool('MySQLdb', **dbparms)return cls(dbpool) def process_item(self, item, spider):query = self.dbpool.runInteraction(self.do_insert, item)query.addErrback(self.handle_error, item, spider) def handle_error(self, failure, item, spider):print (failure) def do_insert(self, cursor, item):insert_sql, params = item.insert_values()print (insert_sql, params)cursor.execute(insert_sql, params)return item

Error code

2017-05-01 00:06:16 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.lagou.com/jobs/2108656.html> (referer: https://www.lagou.com/zhaopin/Python/)2017-05-01 00:06:16 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.lagou.com/jobs/2108656.html>None[Failure instance: Traceback: <class ’TypeError’>: connect() argument 3 must be str, not NoneD:Python35libthreading.py:914:_bootstrap_innerD:Python35libthreading.py:862:runD:Python35libsite-packagestwisted_threads_threadworker.py:46:workD:Python35libsite-packagestwisted_threads_team.py:190:doWork--- <exception caught here> ---D:Python35libsite-packagestwistedpythonthreadpool.py:250:inContextD:Python35libsite-packagestwistedpythonthreadpool.py:266:<lambda>D:Python35libsite-packagestwistedpythoncontext.py:122:callWithContextD:Python35libsite-packagestwistedpythoncontext.py:85:callWithContextD:Python35libsite-packagestwistedenterpriseadbapi.py:464:_runInteractionD:Python35libsite-packagestwistedenterpriseadbapi.py:36:__init__D:Python35libsite-packagestwistedenterpriseadbapi.py:76:reconnectD:Python35libsite-packagestwistedenterpriseadbapi.py:431:connectD:Python35libsite-packagesMySQLdb__init__.py:86:ConnectD:Python35libsite-packagesMySQLdbconnections.py:204:__init__]

问题解答

回答1：

从提示看出,你的配置(settings)的时候有1个参数是None,而不是字符串

标签： Python 编程
上一条：firefox - [selenium+python]：网页重定向问题下一条：python - pycharm的代码风格问题
相关文章：
1. $fields = $values = [];这条代码一直定义不了，一直报错，老师的源码也是被报错的,执行不了,请问该怎么解决这个问题2. python - 求一个在def中可以实现调用本def满足特定条件continue效果的方法（标题说不太清楚，请见题内描述）3. mysql - SQL操作时间的函数?4. MYSQL新建用户设置可以远程访问的问题5. javascript - 用表单提交两个时间段请求后台返回对应数据时出现的一些问题！6. angular.js - angularjs的自定义过滤器如何给文字加颜色？7. java - mybatis怎么实现在数据库中有就修改,没有就添加8. node.js - nodejs和前端JavaScript 字符串处理结果不一样是什么原因？9. docker api 开发的端口怎么获取？10. 正则表达式 - python pandas的sep参数问题
排行榜
$fields = $values = [];这条代码一直定义不了，一直报错，老师的源码也是被报错的,执行不了,请问该怎么解决这个问题
$fields = $values = [];这条代码一直定义不了，一直报错，老师的源码也是被报错的,执行不了,请问该怎么解决这个问题
1. python - 求一个在def中可以实现调用本def满足特定条件continue效果的方法（标题说不太清楚，请见题内描述）
2. javascript - 用表单提交两个时间段请求后台返回对应数据时出现的一些问题！
3. angular.js - angularjs的自定义过滤器如何给文字加颜色？
4. java - mybatis怎么实现在数据库中有就修改,没有就添加
5. mysql - SQL操作时间的函数?
6. MYSQL新建用户设置可以远程访问的问题
7. node.js - nodejs和前端JavaScript 字符串处理结果不一样是什么原因？
8. docker api 开发的端口怎么获取？
9. docker-compose中volumes的问题
10. 正则表达式 - python pandas的sep参数问题
热门标签