似乎不是用于spark plus kinesis集成的Kinesis客户端库应用程序

Question

我正在浏览代码 https://github.com/apache/spark/blob/master/extras/kinesis-asl/src/main/java/org/apache/spark/examples/streaming/JavaKinesisWordCountASL.java

它显示了kinesis如何将流数据发送到SparkContext，然后spark可以进一步处理。

在给定的示例代码中我试图理解这段代码是如何KCL应用程序的 如果我明白了 http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-implementation-app-java.html 它说 在Java中实现Amazon Kinesis应用程序时，您必须完成以下任务：

任务

实现IRecordProcessor方法 为IRecordProcessor接口实现类工厂 修改配置属性

但是火花示例代码 https://github.com/apache/spark/blob/master/extras/kinesis-asl/src/main/java/org/apache/spark/examples/streaming/JavaKinesisWordCountASL.java没有IRecordProcessor和worker等的参考。

注意：https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html部署的部分说明了 单个Kinesis输入DStream可以通过创建多个KinesisRecordProcessor线程从Kinesis流的多个分片中读取。 但是KinesisRecordProcessor没有实现它是否缺失。或者我错过了一些明显的理解

有人可以解释一下这是KCL的申请吗？

Answer 1

kinesis流实现负责处理远离应用程序的那些交互和摘要。见https://github.com/apache/spark/tree/master/extras/kinesis-asl/src/main/scala/org/apache/spark/streaming/kinesis