Akka stream vs Hive Stream

Question

我正在制定一项要求，我们需要从Kafka读取消息并保存（接收）到Hive。我可以考虑使用不同技术的多种实现：

1. Akka stream - 来源将是Kafka来源并沉入hive
2. Hive Stream - 使用hive流式传输
3. Spark streaming
4. nifi - https://nifi.apache.org/

使用Hive处理大量kafka消息的最佳方法是什么？

由于 阿伦

Answer 1

最佳当然是一个非常模糊的概念，但是我个人喜欢NiFi作为数据移动解决方案。

如果您希望快速开发并进行清晰的监视，那么直观的GUI应该非常有用。

如果您发现无法获得足够的性能或足够好的延迟，则可以通过Spark Streaming进行改进，但是通常不需要这样做。

全面披露：尚未与Akka Streams合作，而为Cloudera工作是Nifi，Spark和Hive的推动力