使用Kafka和Netflix Conductor

时间:2017-06-12 15:55:36

标签: apache-kafka workflow netflix netflix-conductor

我想知道是否有一种简单的方法可以连接Kafka和Netflix Conductor(而不是SQS)?目前,它似乎仅适用于Amazon SQS。而且,似乎只能通过任务做出一个动作。有没有办法按任务执行多个操作?

提前致谢,

1 个答案:

答案 0 :(得分:0)

要将Kafka支持添加到Netflix Conductor,您将需要

  • 创建用于扩展AbstractModule的模块(在server.properties中,对conductor.additional.modules属性添加一个条目)
  • 为Kafka生产者和消费者操作实施ObservableQueue。
  • 像实施SQS一样实施EventQueueProvider
  • 在server.properties中为kafka初始化添加属性
kafka.producer.bootstrap.servers=host1:port1;host2:port2
kafka.producer.key.serializer=org.apache.kafka.common.serialization.StringSerializer
kafka.producer.value.serializer=org.apache.kafka.common.serialization.StringSerializer
kafka.consumer.bootstrap.servers=host1:port1;host2:port2
kafka.consumer.key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
kafka.consumer.value.deserializer=org.apache.kafka.common.serialization.StringDeserializer
  • 通过更新contribs模块的build.gradle,为项目添加kafka库支持。

请参阅下面的PR链接以进行实施(由preeth-gopalakrishnan授权)

https://github.com/Netflix/conductor/pull/672

(如果找不到PR,请假定它已合并到主PR)