致电
pd.read_parquet('foo.parquet')
失败:
ArrowInvalid: Chunked field reads not yet supported with StructArray
而 spark.read.parquet('foo.parquet')。printSchema() 效果很好。
注意:它不包含任何数组,而只是一个简单的结构:
root
|-- id: string (nullable = true)
...
|-- foo: struct (nullable = true)
| |-- baz: string (nullable = true)
| |-- bar: double (nullable = true)
|-- bar: struct (nullable = true)
| |-- baz: string (nullable = true)
| |-- bar: double (nullable = true)
有没有办法能够在不诉诸火花的情况下在熊猫中读取结构?
这与https://jira.apache.org/jira/browse/ARROW-3058有关 但是,我已经在使用最新的0.12版本,并且仍然遇到此问题。