文章详情页
python3.x - 求助python下高效且支持大数据量的database2excel方案
浏览：197日期：2022-09-02 14:05:47
问题描述
大家好。小弟目前需要一个速度较好，且支持大数据量的数据库导出至excel（xlsx）的方案小弟的机器配置不高，4核的CPU，可用内存在8G左右（不过是虚拟机，可能性能实际还要低一点）小弟之前尝试过以下几种方案openpyxl：大数据量情况下经常会吃光内存。实验生成100W条/每条6个字段的数据，经常会把小弟这8G内存吃满。生成excel时间大概在10分钟~11分钟左右pyexcel_xlsx：貌似这部分引用的还是openpyxl的东东…不过貌似有一定的优化，生成生成100W条/每条6个字段的数据，消耗内存近3G，时间在8分半左右
这两个方案效率都非常低，而且小弟目前都没有找到中途将内存写入文件的方法…
请各位大大指点，是否还有其他的方案，最好是能够控制单次写入条数，例如每写入5W条，进行一次提交，将内存的东东写在文件中并释放内存，再继续写入这样的。（这样也许可以考虑配合多线程来进行并行写入，加快效率…）谢谢各位了
问题解答
回答1：pandas有分块读取的功能，关键词chunksizedf = pd.read_csv('xxxx',chunksize=10000)可以去研究下文档：http://pandas.pydata.org/pand...
标签：
python
相关文章：
1. javascript - 一排三个框，各个框的间距是15px,距离外面的白框间距也是15px，这个css怎么写？2. javascript - jQuery post()方法，里面的请求串可以转换为GBK编码么？可以的话怎样转换？3. html5 - vue-cli 装好了 新建项目的好了，找不到项目是怎么回事？4. django - python 2层文件夹导入5. python - 用urllib抓取网页上的下载链接，目标文件是xls形式，但发现抓下来的xls是空表，里面只有一句报错信息，求帮助。6. 用CSS3 box-sizing 属性实现两个并排的容器，如果想让容器中间有间隔该如何实现7. mysql - C#连接数据库时一直这一句出问题int i = cmd.ExecuteNonQuery();8. css - ul ol前边的标记如何调整样式呢9. javascript - vue 手机端项目在进入主页后 在进入子页面，直接按返回出现空白情况10. python3.x - python 中的maketrans在utf-8文件中该怎么使用
排行榜
网公网安备