使用AWS Datapipeline将CSV转换为所需格式以导入DynamoDB

Question

使用数据管道（https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-part1.html）将数据从S3导入Dynamo数据库表的AWS文档引用了以下格式的S3文件（s3：// elasticmapreduce / samples / Store / ProductCatalog）： / p>

https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-pipelinejson-verifydata2.html?_sm_ovs=2DtvnqvHTVHW7q50vnqJqRQFVVnqZvnqMVVVVVVsV

问题是......我如何首先获得这种格式的4百万行CSV？那有什么用吗？

感谢您的任何建议......我有一个很好的谷歌，并没有发现任何东西。

Answer 1

steveprk84已在回​​复中与此相关联，但我想将其标注出来：https://github.com/awslabs/data-pipeline-samples/tree/master/samples/DynamoDBImportCSV

EMR上的Hive支持DynamoDB作为外部表类型。此示例使用HiveActivity创建指向目标Dynamo表和源CSV的外部Hive表，然后执行Hive查询以将数据从一个复制到另一个。

Answer 2

AWS Datapipeline服务支持CSV导入到dynamo db。您可以从aws控制台为datapipeline创建管道，然后选择＆＃34;从S3导入DynamoDB备份数据。＆＃34;将存储在S3中的CSV导入Dynamodb。

另见

http://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DynamoDBPipeline.html#DataPipelineExportImport.Importing