将数据从S3导入DynamoDB

时间:2016-04-06 18:57:13

标签: amazon-s3 amazon-dynamodb amazon-data-pipeline

我正在尝试将已上载到S3的JSON文件导入DynamoDB

我按照亚马逊给出的教程

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-console-start.html

但是当我尝试激活管道时,组件TableLoadActivity失败,DDBDestinationTable表示CASCADE_FAILED

两者都给出错误

org.apache.hadoop.mapreduce.JobSubmitter.writeOldSplits(JobSubmitter.java:520)位于org.apache.hadoop.mapreduce的org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:512)。 JobSubmitter.submitJobInternal(JobSubmitter.java:394)org.apache.hadoop.mapreduce.Job $ 10.run(Job.java:1285)at org.apache.hadoop.mapreduce.Job $ 10.run(Job.java:1282)在java.security.AccessController.doPrivileged(Native Method)的javax.security.auth.Subject.doAs(Subject.java:415)atg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)at org .apache.hadoop.mapreduce.Job.submit(Job.java:1282)org.apache.hadoop.mapred.JobClient $ 1.run(JobClient.java:562)org.apache.hadoop.mapred.JobClient $ 1.run (JobClient.java:557)位于org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation)的javax.security.auth.Subject.doAs(Subject.java:415)的java.security.AccessController.doPrivileged(Native Method) .java:1548)在org.apache.hadoop.mapred.JobClient.submit JobInternal(

任何帮助将不胜感激

1 个答案:

答案 0 :(得分:3)

我发现你必须选择内部文件夹,其中存在'manifest'。 这用作备份日期和时间的文件夹。

当我选择了父文件夹时,我收到了这个错误,我给了我的表名。