使用Amazon Data Pipeline将DynamoDB中的数据递增加载到S3

时间:2015-03-14 08:00:21

标签: amazon-web-services

我的方案基于' DAT' DynamoDB中的(包含日期)列,我需要使用Amazon Data Pipeline控制台逐步将数据加载到S3。

为了执行此操作,我使用了Hive Copy活动并添加了filters DAT> unix_timestamp(\" 2015-01-01 01:00:00.301 \",\" yyyy-MM-dd' T' HH:mm:ss \" )。当我使用filtersql然后收到错误消息

  

无法完成HiveActivity:Hive未生成错误文件。原因:EMR工作' @ TableBackupActivity_2015-03-14T07:17:02_Attempt = 3'与jobFlowId' i-3NTVWJANCCOH7E'失败状态' FAILED'和理由'等待步骤失败'。 Step' @ TableBackupActivity_2015-03-14T07:17:02_Attempt = 3'处于状态' FAILED'有理由' null'

如果我使用without filtersql语句,那么数据从DynamoDB移动到S3而没有任何错误。请有人帮我解决这个错误。

0 个答案:

没有答案