文章详情页
我要在命令行同时不间断地运行八九个python爬虫程序(爬不同的网站)?
浏览:174日期:2022-08-21 18:56:02
问题描述
但是过一段时间总有一两个程序会无响应,好像是被挂起了,CPU占用率并不高,不到10%,内存占用也不算多,60%左右,爬虫程序是去批量下载文件,平均每个几兆到十几兆。我设置了这几个程序的优先级高于普通标准,但是还是会出现无响应的状况。版本 python 2.7
求问:这个问题算不算进程被挂起?以及应该如何解决这个问题?
谢谢!
问题解答
回答1:这种问题得自己调,多打log
回答2:Python 有 GIL
相关文章:
1. 为什么span的color非要内联样式才起作用?2. angular.js - angular-ui-bootstrap 报错无法使用?3. javascript - swiper.js嵌套了swiper 初始设置不能向下一个滑动 结束后重新初始4. docker - 如何修改运行中容器的配置5. python - 如何修改twisted自带的日志输出格式?6. 求救一下,用新版的phpstudy,数据库过段时间会消失是什么情况?7. 请问一下各位老鸟 我一直在学习独孤九贱 现在是在tp5 今天发现 这个系列视频没有实战8. 在cmd下进入mysql数据库,可以输入中文,但是查看表信息,不显示中文,是怎么回事,怎新手,请老师9. github - 求助大神啊,win10 git clone error,折腾了几天都不行,以前原本好好的,突然就这样了10. 老师,请问我打开browsersync出现这个问题怎么解决啊?
排行榜

网公网安备