Spark可以在没有EMR的情况下访问DynamoDb

时间:2016-04-06 17:13:02

标签: apache-spark amazon-dynamodb spark-streaming amazon-emr

我有一组AWS实例,其中设置了Apache Hadoop分发以及apache spark 我试图通过Spark流访问DynamoDb来读取和写入表格但是 在编写Spark-DynamoDB代码期间,我知道emr-ddb-hadoop.jar需要获取仅存在于EMR Cluster中的DynamoDB输入格式和OutputFormat。 检查几个博客后,似乎只能通过EMR Spark访问它。 这是对的吗?

但是我使用独立的JAVA SDK来访问功能正常的Dynamodb

1 个答案:

答案 0 :(得分:3)

我得到了问题的解决方案。 我从EMR下载了emr-ddb-hadoop.jar文件并在我的环境中使用它。 请注意:要运行DynamoDB,我们只需要以上jar。