您的位置：首页技术文章
文章详情页

我要在命令行同时不间断地运行八九个python爬虫程序（爬不同的网站）？

浏览：251日期：2022-08-21 18:56:02

问题描述

但是过一段时间总有一两个程序会无响应，好像是被挂起了，CPU占用率并不高，不到10％，内存占用也不算多，60％左右，爬虫程序是去批量下载文件，平均每个几兆到十几兆。我设置了这几个程序的优先级高于普通标准，但是还是会出现无响应的状况。版本 python 2.7

求问:这个问题算不算进程被挂起？以及应该如何解决这个问题？

谢谢！

问题解答

回答1：

这种问题得自己调，多打log

回答2：

Python 有 GIL

标签： Python 编程
上一条：flask - Python使用redis发布订阅时，监听频道时出现的问题？【一句话描述不清楚，请各位细看内容】下一条：python - django queryset自定义排序问题
相关文章：
1. 关docker hub上有些镜像的tag被标记““This image has vulnerabilities””2. docker - 各位电脑上有多少个容器啊？容器一多，自己都搞混了，咋办呢？3. python - 怎样在linux下开发flask web应用时查看代码出错（traceback）的地方。4. docker不显示端口映射呢？5. angular.js - angular中的a标签不起作用6. MySQL 如何从 datetime 类型的字段选择 date7. 添加错误，求解8. mysql优化 - mysql 分页查询优化。9. docker 17.03 怎么配置 registry mirror ?10. javascript - 获取标签中的字符串
排行榜
angular.js - angular中的a标签不起作用
angular.js - angular中的a标签不起作用
1. javascript - 获取标签中的字符串
2. mysql优化 - mysql 分页查询优化。
3. python - 怎样在linux下开发flask web应用时查看代码出错（traceback）的地方。
4. docker镜像push报错
5. docker - 各位电脑上有多少个容器啊？容器一多，自己都搞混了，咋办呢？
6. 关docker hub上有些镜像的tag被标记““This image has vulnerabilities””
7. docker不显示端口映射呢？
8. MySQL 如何从 datetime 类型的字段选择 date
9. 添加错误，求解
10. docker 17.03 怎么配置 registry mirror ?
热门标签