文章详情页
python3.x - 求助python下高效且支持大数据量的database2excel方案
浏览：80日期：2022-09-02 14:05:47
问题描述
大家好。小弟目前需要一个速度较好，且支持大数据量的数据库导出至excel（xlsx）的方案小弟的机器配置不高，4核的CPU，可用内存在8G左右（不过是虚拟机，可能性能实际还要低一点）小弟之前尝试过以下几种方案openpyxl：大数据量情况下经常会吃光内存。实验生成100W条/每条6个字段的数据，经常会把小弟这8G内存吃满。生成excel时间大概在10分钟~11分钟左右pyexcel_xlsx：貌似这部分引用的还是openpyxl的东东…不过貌似有一定的优化，生成生成100W条/每条6个字段的数据，消耗内存近3G，时间在8分半左右
这两个方案效率都非常低，而且小弟目前都没有找到中途将内存写入文件的方法…
请各位大大指点，是否还有其他的方案，最好是能够控制单次写入条数，例如每写入5W条，进行一次提交，将内存的东东写在文件中并释放内存，再继续写入这样的。（这样也许可以考虑配合多线程来进行并行写入，加快效率…）谢谢各位了
问题解答
回答1：pandas有分块读取的功能，关键词chunksizedf = pd.read_csv('xxxx',chunksize=10000)可以去研究下文档：http://pandas.pydata.org/pand...
标签：
python
相关文章：
1. android - 安卓做前端，PHP做后台服务器 有什么需要注意的？2. docker images显示的镜像过多，狗眼被亮瞎了，怎么办？3. mysql - 我用SQL语句 更新 行的时候,发现全部 中文都被清空了,请问怎么解决?4. python - xpath提取网页路径没问题，但是缺失内容？5. javascript - IOS微信audio标签不能通过touchend播放6. java中这个页面默认是utf-8编码的，1输出乱码可以理解，可是2就不理解了？7. python-mysql Commands out of sync8. docker不显示端口映射呢？9. javascript - 求教各位，本地HTML页面怎么在DIV中嵌套服务器上的页面内容？不用iframe。10. docker start -a dockername 老是卡住，什么情况？
排行榜
网公网安备