亚马逊Redshift COPY与转型

时间:2014-11-06 16:30:00

标签: amazon-redshift

Redshift有一个COPY操作,允许您将文件从S3复制到Redshift(http://docs.aws.amazon.com/redshift/latest/dg/r_COPY.html)。

S3中的.json文件是“脏”的;它们还没有准备好直接复制到Redshift中,需要首先运行转换。我的问题是:我是否需要编写新的已清理的JSON文件回到S3,然后从那些已清理的文件中执行COPY,或者有没有办法在复制过程中通过此转换运行jsons?

1 个答案:

答案 0 :(得分:7)

@tommy

COPY操作只允许几个简单的转换,如DATETIME格式更改,NULL占位符等。

要广泛清理数据,您可能必须编写自己的程序并将结果转储回S3,然后才能将其复制到redshift中。

如果您的数据很小,您可以使用AWS SDK(提供Java,PHP和Python风格)编写一个简单的程序来执行ETL并将其加载到redshift中。

在我们的案例中,数据量巨大(每天约4亿行),因此,我们使用Amazon EMR,HIVE和SerDe(JSON)编解码器来创建逻辑HIVE表,使用HQL应用转换,并转储清理后的结果以TAB分隔文件返回S3。然后,我们使用标准COPY命令将结果加载到redshift中。我们还使用Amazon Data Pipeline来协调和自动化此工作流程。

实施例。 HIVE脚本

add jar s3://elasticmapreduce/samples/hive-ads/libs/jsonserde.jar; --SerDe codec

CREATE EXTERNAL TABLE  source_table_name (column_a string, column_b date)  row format 
    serde 'com.amazon.elasticmapreduce.JsonSerde'
    with serdeproperties ( 
      'paths'='column_a, column_b'
   ) LOCATION   's3a://your-bucket-name/source-directory-path/';

CREATE EXTERNAL TABLE  dest_table_name (column_a string, column_b date) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'  LOCATION 's3n://your-bucket-name/dest-directory-path/';

INSERT INTO dest_table_name select * from source_table_name;

当然,上面显示的示例只是重新格式化数据。您可能必须根据您的用例添加其他转换。

希望这有帮助。