Storm + Redis或Storm Trident或Spark Streaming

时间:2017-03-27 13:18:27

标签: redis spark-streaming apache-storm trident spark-redis

我打算构建流处理系统。使用Kafka进行消息传输。流处理可以通过风暴三叉戟,风暴或火花流完成。但找不到最佳答案。

如果条件在开头,

流处理将很简单。字段可以在不同的元组内,这就是我需要存储前一个字段的原因。 现在我使用storm + redis(而不是trident)实现了这个场景。在螺栓内部,从redis获取所有字段,然后根据条件进行测量。如果字段不为null则使用,如果null继续工作。如果这是正确的,我对建筑有不好的感受。

我应该使用三叉戟api还是火花流?

我不需要“一次性”送货保证。只需要每个数据源的状态。此状态将按字段计算。

感谢您的回复。

0 个答案:

没有答案