AWS Redshift从S3加载数据

时间:2014-07-09 14:43:52

标签: postgresql amazon-web-services amazon-s3 amazon-redshift

所以我正在尝试从S3存储桶中将数据加载到我的Redshift数据库中。我有一个表'Example',其字段'timestamp'的格式为'YY-MM-DD HH:MM:SS'。

使用copy query加载数据,所以我可以加载特定的模式/前缀,但我想在某个时间戳之后加载数据,比如说,大于'2014-07-09 10:00:00' 。我该如何处理?

1 个答案:

答案 0 :(得分:1)

您有两种选择:

  1. 在将文件加载到S3之前处理该文件(并仅上传时间戳大于$ SOME_TIMESTAMP的数据)

  2. 使用COPY命令将文件加载到中间表中(可以是临时表 - 只要您保持在同一个会话中)然后运行:

    insert into YOUR_ORIGINAL_TABLE (select * from YOUR_TEMP_TABLE where timestamp > WHATEVER_YOU_NEED)