excel流式加载.py
excel格式数据不能像csv格式一样方便的实现分块的读取.对于csv可以通过dask库和或者pd.read csv的chunksize参数实现流式加载和运算.为了避免对excel大文件读取或运算过程中的内存不足通过流式加载excel再进行处理节约内存使用.分块读取excel实现流式加载和计算该方案会严重影响读写速度如果分为n个块则读取的时间为一次读取的n倍.仅适用于数据过大无法读入内存的情况.
下载地址
用户评论