将dynamodb表导出为csv数据管道

时间:2015-10-13 15:05:05

标签: amazon-web-services aws-cli amazon-data-pipeline

我正在尝试将我的DynamoDB数据导出为.CSV文件到S3。我用过了;

{
  "id" : "DynamoDBDataType",
  "type" : "CSV",
  "column" : [
    "Name GsaDynamoDBDataType",
    "Score INT",
    "DateOfBirth TIMESTAMP"
  ]
}

并将其与要写入的s3存储桶相关联;

{
  "directoryPath": "#{myOutputS3Loc}/#{format(@scheduledStartTime, 'YYYY-MM-dd-HH-mm-ss')}",
  "name": "S3BackupLocation",
  "id": "S3BackupLocation",
  "type": "S3DataNode",
  "dataFormat": {
    "ref": "DynamoDBDataType"
  }
}

有什么想法吗?

1 个答案:

答案 0 :(得分:0)

必须分两个阶段完成,数据首先以DynamoDB的导出格式导出到S3。然后可以使用其他作业将其转换为CSV。这是一个示例管道https://s3.amazonaws.com/dpl-examples/DDB-to-CSV.json