我可以使用Athena将Amazon S3上的CSV文件转换为Parquet格式,而无需使用Amazon EMR

时间:2018-02-08 21:16:27

标签: amazon-web-services amazon-s3 amazon-redshift amazon-emr amazon-redshift-spectrum

我想使用Amazon Athena将现在坐在Amazon S3上的csv数据文件转换为Parquet格式,并在没有得到Amazon EMR的任何帮助的情况下将它们推回到Amazon S3。这有可能吗?有没有人经历过类似的事情?

1 个答案:

答案 0 :(得分:1)

Amazon Athena可以查询数据,但无法转换数据格式

您可以将 Amazon EMR 用于Convert to Columnar Formats。步骤是:

  • 创建指向源数据的外部表
  • 使用mfcc_with_labels[1]
  • 创建目标外部表
  • STORED AS PARQUET