所以我正在尝试从S3存储桶中将数据加载到我的Redshift数据库中。我有一个表'Example',其字段'timestamp'的格式为'YY-MM-DD HH:MM:SS'。
使用copy query加载数据,所以我可以加载特定的模式/前缀,但我想在某个时间戳之后加载数据,比如说,大于'2014-07-09 10:00:00' 。我该如何处理?
答案 0 :(得分:1)
您有两种选择:
在将文件加载到S3之前处理该文件(并仅上传时间戳大于$ SOME_TIMESTAMP的数据)
使用COPY命令将文件加载到中间表中(可以是临时表 - 只要您保持在同一个会话中)然后运行:
insert into YOUR_ORIGINAL_TABLE (select * from YOUR_TEMP_TABLE where timestamp > WHATEVER_YOU_NEED)