标签: python csv dataframe dask
我有一个时间索引数据框,我和我想基于15分钟的间隔输出到多个csv文件,有没有办法在dask中执行此操作而不依赖于应用或映射?我使用的数据源可以全部放在一个文件中,也可以拆分,这样现有的分区就会有所不同。
答案 0 :(得分:3)
处理此问题的最佳方法是使用repartition将数据重新分区为15分钟分区,然后使用to_csv输出到文件(为每个分区创建一个文件)。
repartition
to_csv
这样的事情应该有效:
df.repartition(freq='15T').to_csv(...)