使用pyarrow在Amazon S3上打开实木复合地板文件时出错

时间:2018-08-28 12:29:35

标签: python amazon-s3 parquet pyarrow

我有这段代码,应该从存储在S3上的实木复合地板文件中读取单列数据: fs = s3fs.S3FileSystem() data_set = pq.ParquetDataset(f"s3://{bucket}/{key}", filesystem=fs) column_data = data_set.read(columns=[col_name])

我得到了这个例外: validate_schemas     self.schema = self.pieces [0] .get_metadata(open_file).schema IndexError:列表索引超出范围

我升级到了最新版本的pyarrow,但没有帮助

0 个答案:

没有答案