您的位置：首页技术文章
文章详情页

我要在命令行同时不间断地运行八九个python爬虫程序（爬不同的网站）？

浏览：139日期：2022-08-21 18:56:02

问题描述

但是过一段时间总有一两个程序会无响应，好像是被挂起了，CPU占用率并不高，不到10％，内存占用也不算多，60％左右，爬虫程序是去批量下载文件，平均每个几兆到十几兆。我设置了这几个程序的优先级高于普通标准，但是还是会出现无响应的状况。版本 python 2.7

求问:这个问题算不算进程被挂起？以及应该如何解决这个问题？

谢谢！

问题解答

回答1：

这种问题得自己调，多打log

回答2：

Python 有 GIL

标签： Python 编程
上一条：flask - Python使用redis发布订阅时，监听频道时出现的问题？【一句话描述不清楚，请各位细看内容】下一条：python - django queryset自定义排序问题
相关文章：
1. dockerfile - [docker build image失败- npm install]2. angular.js - angular内容过长展开收起效果3. javascript - c#如何向js传值4. java - mybatis怎么实现在数据库中有就修改,没有就添加5. java中关于直接插入排序遇到的问题。6. 我在centos容器里安装docker，也就是在容器里安装容器，报错了？7. node.js - nodejs和前端JavaScript 字符串处理结果不一样是什么原因？8. docker gitlab 如何git clone？9. nignx - docker内nginx 80端口被占用10. node.js - mongoDB使用$gte的问题
排行榜
dockerfile - [docker build image失败- npm install]
dockerfile - [docker build image失败- npm install]
1. 我在centos容器里安装docker，也就是在容器里安装容器，报错了？
2. javascript - c#如何向js传值
3. nignx - docker内nginx 80端口被占用
4. node.js - mongoDB使用$gte的问题
5. angular.js - angular内容过长展开收起效果
6. node.js - nodejs和前端JavaScript 字符串处理结果不一样是什么原因？
7. java - mybatis怎么实现在数据库中有就修改,没有就添加
8. docker gitlab 如何git clone？
9. java中关于直接插入排序遇到的问题。
10. macos - mac下docker如何设置代理
热门标签