1. 首页
  2. 编程语言
  3. Python
  4. excel流式加载.py

excel流式加载.py

上传者: 2023-01-24 02:47:59上传 PY文件 2.59KB 热度 12次
excel格式数据不能像csv格式一样方便的实现分块的读取.对于csv可以通过dask库和或者pd.read csv的chunksize参数实现流式加载和运算.为了避免对excel大文件读取或运算过程中的内存不足通过流式加载excel再进行处理节约内存使用.分块读取excel实现流式加载和计算该方案会严重影响读写速度如果分为n个块则读取的时间为一次读取的n倍.仅适用于数据过大无法读入内存的情况.
用户评论