包含org.apache.hadoop.hive.dynamodb的jar

Question

我试图以编程方式将一个dynamodb表加载到HDFS中（通过java，而不是 hive），我无法在网上找到关于如何操作的示例，所以我想下载包含jar的jar org.apache.hadoop.hive.dynamodb并对该过程进行反向工程。

不幸的是，我也找不到该文件:(。

有人可以为我回答以下问题（按优先顺序列出）。

1. 将dynamodb表加载到HDFS中的Java示例（可以作为表输入格式传递给映射器）。
2. 包含org.apache.hadoop.hive.dynamodb。
的jar

谢谢！

Answer 1

它在hive-bigbird-handler.jar。遗憾的是，AWS不提供任何来源或至少Java Doc。但是你可以在EMR集群的任何节点上找到jar：

/home/hadoop/.versions/hive-0.8.1/auxlib/hive-bigbird-handler-0.8.1.jar

您可能想要查看此文章：

• Amazon DynamoDB Part III: MapReducin’ Logs

  

不幸的是，亚马逊尚未发布消息来源   hive-bigbird-handler.jar，考虑到它的用处，这是一种耻辱。   特别值得注意的是，它似乎还包括对内置的支持   Hadoop的输入和输出格式，因此可以直接写入   MapReduce Jobs，直接写入DynamoDB。

提示：搜索hive-bigbird-handler.jar以获取有趣的部分......; - ）

Answer 2

1-我不知道任何这样的例子，但你可能会发现这个library很有用。它提供了InputFormats，OutputFormats和Writable类，用于读取和写入Amazon DynamoDB表的数据。

2-我认为他们没有公开发布。