文章详情页
python - 如何解决程序运行太久之后被操作系统暂停的情况?
浏览:141日期:2022-06-29 14:48:35
问题描述
我有几个python爬虫程序,需要持续不间断运行,但是每次都是运行了两天之后变得无响应,每次都是阻塞在time.sleep(60)的地方,但是进程又没有死掉,在控制台输入Ctrl C都不能退出程序,只能在任务管理器里强制退出才行。
请问这是由什么原因导致的?以及如何解决这个问题?
先谢谢各位前辈了!
问题解答
回答1:问题分析建议:
linux: 可以尝试通过strace命令追踪进程状态, 根据输出的内容做分析,或者通过proc对应目录的文件对进程的各项指标做分析! Ctrl-C无效,怀疑进程进入不可中断的睡眠,具体还得看实际获取的数据才有可能知道
windows: 通过任务管理器找到对应的进程, 右键->创建转储文件, 分析该转储文件看能否找出原因.
爬虫程序: 自身对爬取的进度,做详细的日志, 不管是链接,还是遇到的异常,最好都记录下来,以便得知具体停止的时间, 和停止时,爬取的进度, 下次可以先针对这个进度再去深入分析.
回答2:linux系统的话试试用crontab去做定时任务windows用任务计划
相关文章:
1. javascript - npm start 运行’webpack-dev-server’报错 Cannot find module ’webpack’2. 为什么我ping不通我的docker容器呢???3. 关于docker下的nginx压力测试4. 服务器端 - 采用nginx做web服务器,C++开发应用程序 出现拒绝连接请求?5. python - pandas按照列A和列B分组,将列C求平均数,怎样才能生成一个列A,B,C的dataframe6. javascript - nidejs环境设置操作一直出现这种问题怎么解决?7. java - Tomcat 不同的域名访问同一个项目的不同网页8. java - 静态属性中的赋值和静态代码块中的赋值有什么区别?9. dockerfile - [docker build image失败- npm install]10. javascript - Angular controlller控制域和原生js的关系
排行榜
