如何在Spark流应用程序中处理DynamoDB流

Question

我想从Spark Streaming应用程序中使用DynamoDB Stream。

Spark流使用KCL从Kinesis读取。有一个lib可以使KCL能够从DynamoDB流中读取： dynamodb-streams-kinesis-adapter 。

但是有可能将这个lib插入spark吗？有人做过吗？

我使用的是Spark 2.1.0。

我的备份计划是将另一个应用程序从DynamoDB流读取到Kinesis流中。

由于

Answer 1

实现KinesisInputDStream以使用if(strcmp(strtok(userService1,"\n"),"Oil change") == 0){ printf("Service 1: Oil change, $35\n"); price1 = 35; } 提供的工作程序的方法 official guidelines建议如下：

compile "io.micronaut:spring" runtime "org.springframework:spring-jdbc"

从Spark的角度来看，它是在KinesisInputDStream.scala的kinesis-asl模块下实现的

我已经为Spark 2.4.0尝试过此操作。这是我的仓库。它几乎不需要精炼，但可以完成工作

https://github.com/ravi72munde/spark-dynamo-stream-asl

修改KinesisInputDStream后，我们可以如下所示使用它。 dynamodb-streams-kinesis-adapter