我有一个巨大的dask数据框,其中包含100个分区,并从gcs中读取了100个json文件:
dd = dd.read_json('gs://dask_xxxxx/2018-04-18/data-*.json')
然后我使用to_parquet("x.parq")
:
dd.to_parquet('x.parq')
我遇到以下错误:
ChunkedEncodingError :('连接断开:OSError(“(54,\'ECONNRESET \')”,)')OSError(“(54,'ECONNRESET')”,))