daskdataframe.to_parquet():ChunkedEncodingError”

时间:2019-03-26 22:01:47

标签: python bigdata dask

我有一个巨大的dask数据框,其中包含100个分区,并从gcs中读取了100个json文件:

 dd = dd.read_json('gs://dask_xxxxx/2018-04-18/data-*.json')

然后我使用to_parquet("x.parq")

  dd.to_parquet('x.parq')

我遇到以下错误:

  

ChunkedEncodingError :('连接断开:OSError(“(54,\'ECONNRESET \')”,)')OSError(“(54,'ECONNRESET')”,))

0 个答案:

没有答案