从Kafka读取数据并将其存储在dynamo db中

Question

我需要从Kafka代理中的多个主题中读取数据，并将数据存储在Dynamo DB中。 我可以继续使用任何参考代码或任何特定方法。

我尝试过使用https://github.com/shikhar/kafka-connect-dynamodb，但作为新手，我没有得到太多帮助。

Answer 1

Nifi是从Kafka读取并写入Dynamo的选项之一。

使用ConsumeKafka Nifi处理器作为使用者： https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-kafka-0-9-nar/1.5.0/org.apache.nifi.processors.kafka.pubsub.ConsumeKafka/

和PutDynamoDB编写： https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-aws-nar/1.5.0/org.apache.nifi.processors.aws.dynamodb.PutDynamoDB/

这也便于进行任何快速转换，分叉等。