从边缘设备摄取平面数据文件到HDFS并进行处理

时间:2017-08-10 10:19:28

标签: hadoop apache-kafka hdfs flume bigdata

我是一个用例,车辆上的设备必须将平面二进制文件发送到云服务器,当它们进入时将它们处理并将数据存储到Hbase中。我想知道哪些数据提取框架支持从远程设备上传平面二进制文件,以及需要使用哪种数据处理框架来解析这些文件并将数据存储到HBase中。请建议适合我的应用程序的设计。

1 个答案:

答案 0 :(得分:0)

查看https://www.confluent.io/product/connectors/ Confluent平台。您可以通过kafka分发所有数据,如果需要使用kafka流处理它,并使用kafka连接器将结果存储到HBase。