在Spark中使用Kinesis生产者库

Question

我有Spark作业，从Cassandra读取数百万条记录，过滤掉（业务规则）并写入Kinesis流。我没有找到关于如何从Spark调用KPL（Kinesis Producer库）的任何示例和推荐。那是正确的方法吗？我还有其他选择吗？

Answer 1

您可以为每个分区创建KPL生产者，然后可以为每个分区发送消息。保持较小的分区，以避免任务/核心节点过载。