Apache NiFi / Hive - 在HDFS中存储合并的推文,在配置单元中创建表

时间:2016-04-21 15:07:36

标签: hadoop hive hdfs apache-nifi

我想创建以下工作流程:

1.使用GetTwitter处理器获取推文。

  1. 使用MergeContent流程将推文合并到一个更大的文件中。

  2. 将合并文件存储在HDFS中。

  3. 在hadoop / hive方面,我想根据这些推文创建一个外部表。
  4. 有一些例子如何做到这一点,但我缺少的是如何配置MergeContent处理器:设置为页眉,页脚和标识符的内容。 以及在hive端使用什么作为分隔符,以便在行中拆分合并的推文。 希望我能清楚地描述自己。

    提前致谢。

1 个答案:

答案 0 :(得分:0)

二进制模式下的MergeContent处理器可以正常工作。不需要页眉,页脚和标识符。