如何根据时间间隔将时间索引的Dask数据帧输出到csv

时间:2017-03-27 18:20:17

标签: python csv dataframe dask

我有一个时间索引数据框,我和我想基于15分钟的间隔输出到多个csv文件,有没有办法在dask中执行此操作而不依赖于应用或映射?我使用的数据源可以全部放在一个文件中,也可以拆分,这样现有的分区就会有所不同。

1 个答案:

答案 0 :(得分:3)

处理此问题的最佳方法是使用repartition将数据重新分区为15分钟分区,然后使用to_csv输出到文件(为每个分区创建一个文件)。

这样的事情应该有效:

df.repartition(freq='15T').to_csv(...)