Apache Flume可以从AWS Kinesis或GCP发布/订阅中收集数据吗?

时间:2018-11-09 02:50:49

标签: hadoop flume amazon-kinesis

我正在使用Flume收集从Kafka到HDFS的流数据。

但是数据源可能会变成多个。

因此,我想知道是否可以构建一个数据收集系统:

Kafka / Kinesis / Pub / Sub-> Flume-> HDFS(存储)/ Flink(处理)。

但是似乎我找不到有关如何将Flume连接到Kinesis,pub / sub的数据。这可行吗?任何帮助表示赞赏。

0 个答案:

没有答案