如何使用flume创建任务来按时间自动将数据从HDFS加载到HIVE？

Question

我需要将数据从hadoop加载到hive自动，但我不想设置其他服务来做这件事。我已经用水槽来收集我的日志......那我该怎么办？ flume是否可以执行命令（对于hive的查询就像LOAD一样.....）？

Answer 1

对不起，我在这里参加聚会有点晚了，但实际上我已经把一个非常完整的例子说明如何用暴露的所有细节做到这一点。也许，它会帮助别人

http://www.lopakalogic.com/articles/hadoop-articles/log-files-flume-hive/

祝你好运！

Answer 2

你可以让Flume将提取的数据存储在Hive的表目录下（通常是/ user / hive / warehouse / Your_Table_Dierctory）。没有什么需要做的了。