使用Snappy压缩的Parquet格式的Redshift COPY命令

Question

我在HDFS中有数据集，这是一种镶木地板格式，snappy是压缩编解码器。就我的研究而言，目前Redshift只接受带有gzip，lzo压缩编解码器的纯文本，json，avro格式。

或者，我正在将镶木地板格式转换为纯文本，并使用Pig脚本将snappy编解码器更改为gzip。

目前有没有办法直接从镶木地板文件加载数据到Redshift？

Answer 1

不，目前无法将Parquet格式数据直接加载到Redshift中。

编辑：从2017年4月19日开始，您可以使用Redshift Spectrum直接查询S3上的Parquet数据。因此，你现在可以'＃34;加载＆＃34;来自Parquet的INSERT INTO x SELECT * FROM parquet_data http://docs.aws.amazon.com/redshift/latest/dg/c-using-spectrum.html

编辑2：从2018年5月17日开始（对于版本1.0.2294或更高版本的群集），您可以直接将Parquet和ORC文件加载到Redshift中。 https://docs.aws.amazon.com/redshift/latest/dg/copy-usage_notes-copy-from-columnar.html