文章详情页
我要在命令行同时不间断地运行八九个python爬虫程序(爬不同的网站)?
浏览:115日期:2022-08-21 18:56:02
问题描述
但是过一段时间总有一两个程序会无响应,好像是被挂起了,CPU占用率并不高,不到10%,内存占用也不算多,60%左右,爬虫程序是去批量下载文件,平均每个几兆到十几兆。我设置了这几个程序的优先级高于普通标准,但是还是会出现无响应的状况。版本 python 2.7
求问:这个问题算不算进程被挂起?以及应该如何解决这个问题?
谢谢!
问题解答
回答1:这种问题得自己调,多打log
回答2:Python 有 GIL
相关文章:
1. 管理员信息修改时的密码问题2. angular.js - 输入邮箱地址之后, 如何使其自动在末尾添加分号?3. javascript - 后台管理系统左侧折叠导航栏数据较多,怎么样直接通过搜索去定位到具体某一个菜单项位置,并展开当前菜单4. javascript - html5的data属性怎么指定一个function函数呢?5. 如何解决docker宿主机无法访问容器中的服务?6. android - RxJava 中有根据条件执行不同函数的操作符吗?7. javascript - 如何使用nodejs 将.html 文件转化成canvas8. mysql - 电商如何存储营业额数据9. html5 - 为什么使使用vue cli 脚手架,post-css 没有自动对css3属性自动添加浏览器前缀呢?10. java如何生成token?
排行榜
