文章详情页
我要在命令行同时不间断地运行八九个python爬虫程序(爬不同的网站)?
浏览:95日期:2022-08-21 18:56:02
问题描述
但是过一段时间总有一两个程序会无响应,好像是被挂起了,CPU占用率并不高,不到10%,内存占用也不算多,60%左右,爬虫程序是去批量下载文件,平均每个几兆到十几兆。我设置了这几个程序的优先级高于普通标准,但是还是会出现无响应的状况。版本 python 2.7
求问:这个问题算不算进程被挂起?以及应该如何解决这个问题?
谢谢!
问题解答
回答1:这种问题得自己调,多打log
回答2:Python 有 GIL
相关文章:
1. 前端 - css3 3d效果问题2. python - 关于beautifulsoup获取文档内容3. javascript - 怎么实现让 div 里面的 img 元素 中心居中, 如下示例图4. javascript - nodejs调用qiniu的第三方资源抓取,返回401 bad token,为什么5. php - 微信开发验证服务器有效性6. javascript - vue+iview upload传参失败 跨域问题后台已经解决 仍然报403,这是怎么回事啊?7. Mac环境下QT编译MySQL驱动屡次失败?如何?8. 微信开放平台 - ios APP能不能打开微信然后通过微信跳转到指定的URL?9. javascript - vue引入样式的问题10. javascript - 移动端一个小效果
排行榜
![dockerfile - [docker build image失败- npm install]](http://www.haobala.com/attached/image/news/202311/1028105a80.png)