文章详情页
我要在命令行同时不间断地运行八九个python爬虫程序(爬不同的网站)?
浏览:184日期:2022-08-21 18:56:02
问题描述
但是过一段时间总有一两个程序会无响应,好像是被挂起了,CPU占用率并不高,不到10%,内存占用也不算多,60%左右,爬虫程序是去批量下载文件,平均每个几兆到十几兆。我设置了这几个程序的优先级高于普通标准,但是还是会出现无响应的状况。版本 python 2.7
求问:这个问题算不算进程被挂起?以及应该如何解决这个问题?
谢谢!
问题解答
回答1:这种问题得自己调,多打log
回答2:Python 有 GIL
相关文章:
1. redis sentinel怎么跑守护进程以及日志记录位置的?2. django - Nginx uwsgi 进程问题3. javascript - sublime快键键问题4. 前端 - 这段代码一直生效不了,查半天因为 top: 0px; 分号后一个隐藏的东西,也不是占位符...删了就可以生效,这是什么情况。。5. javascript - 解释下这种函数定义6. phpstudy 发现多个后门木马,有人遇到过吗?7. 关于纯用css写导航鼠标移入事件的问题?8. javascript - 求助关于js正则问题9. 微信小程序支持跳转到外部链接网页吗10. html5 - ElementUI table中el-table-column怎么设置百分比显示。
排行榜

网公网安备