我有一个要求,我需要定期将传入的数据写入并追加到压缩的镶木地板文件中。
我正在尝试使用pyarrow RecordBatchStreamReader解决它。
n T(n)
- ----
1 c
2 c + c + 1 = 2c + 1
3 2c+1 + c + 1 = 3c + 2
4 2c+1 + 2c+1 + 1 = 4c + 3
5 3c+2 + 2c+1 + 1 = 5c + 4
6 4c+3 + 2c+1 + 1 = 6c + 5
… …
9 6c+5 + 3c+2 + 1 = 9c + 8
… …
k kc + k - 1 = k(c + 1) - 1
似乎RecordBatchStreamWriter不支持压缩输出流。有其他选择吗?
ArrowNotImplementedError错误回溯(最近一次调用最近) 在()中 5 i在范围(numBatches)中为6: ----> 7 stream_writer_compress.write_batch(batch)
〜\ AppData \ Local \ Continuum \ anaconda3 \ envs \ HistPy \ lib \ site-packages \ pyarrow \ ipc.pxi在pyarrow.lib._CRecordBatchWriter.write_batch()
pyarrow.lib.check_status()中的〜\ AppData \ Local \ Continuum \ anaconda3 \ envs \ HistPy \ lib \ site-packages \ pyarrow \ error.pxi
ArrowNotImplementedError:无法告诉()压缩流