从/向镶木地板文件读取/写入pyarrow张量

Question

在pyarrow中，将pyarrow.Tensor（例如从numpy.ndarray创建）写入Parquet文件的建议方法是什么？是否可以不必通过pyarrow.Table和pandas.DataFrame？

Answer 1

Parquet的数据模型是表格式的，因此张量/ ndarray必须转换为表格形式。我们没有任何内置的便利功能来帮助解决此问题，但您可以随时在问题跟踪器上发出特定的功能请求documentation

Answer 2

Parquet格式针对具有嵌套数据的表进行了优化，即它期望数据表示为命名列。这与n维列的想法形成鲜明对比。对于张量，最好选择不同的格式。