从Dynamodb生成报告

Question

我是DynamoDB的新手，我想知道从这个键/值对数据存储生成报告与从DBMS生成报告是否有任何区别。

我的（Java）应用程序将数据写入DynamoDB，我希望从中生成业务报告（例如销售报告）。

我所理解的是亚马逊提供的EMR（弹性地图缩减），进一步阅读它下面有Hive，这将允许我使用SQL语法来查询DynamoDB。

如果我的数据少于50GB，那么使用EMR对此任务来说是一种过度杀伤吗？

Answer 1

是的，hive使用类似SQL的语法。 Hive仍然是用java编写的，它仍然是java。 Hive wiki是一个很好的起点。这是一篇关于将Dynamo DB与EMR结合使用的好文章 http://aws.amazon.com/articles/28549

  

如果我的数据少于50GB，那么使用EMR对此任务来说是一种过度杀伤吗？

我不这么认为，一旦你有EMR设置并将发电机表导出到s3或内部hadoop表。然后，您可以查询S3或内部hadoop表，而不会影响DynamoDB的临时吞吐量容量。由于S3非常快，您可以编写所有类型的复杂配置单元查询以获取所需的报告。

The command line tool启动EMR非常容易设置，如果您想省钱，您可以随时出价竞价。

此外，当作业运行缓慢时，您可以增加核心和任务节点，以便在需要时快速运行作业。