熊猫使用struct读取实木复合地板(不是数组)

时间:2019-02-19 07:01:56

标签: pandas pyarrow

致电

pd.read_parquet('foo.parquet')

失败:

ArrowInvalid: Chunked field reads not yet supported with StructArray

而 spark.read.parquet('foo.parquet')。printSchema() 效果很好。

注意:它不包含任何数组,而只是一个简单的结构:

root
 |-- id: string (nullable = true)
 ...
 |-- foo: struct (nullable = true)
 |    |-- baz: string (nullable = true)
 |    |-- bar: double (nullable = true)
 |-- bar: struct (nullable = true)
 |    |-- baz: string (nullable = true)
 |    |-- bar: double (nullable = true)

有没有办法能够在不诉诸火花的情况下在熊猫中读取结构?

编辑

这与https://jira.apache.org/jira/browse/ARROW-3058有关 但是,我已经在使用最新的0.12版本,并且仍然遇到此问题。

0 个答案:

没有答案