Hive没有选择附加到文件的新条目?

时间:2017-08-17 08:42:47

标签: hadoop hive flume

我有一个外部hive表[1],指向HDFS中的somepath目录。以下是我关注的事件序列:

  1. 某个进程(在这种情况下为Flume)在somefile中创建一个新文件somepath,并将一行写入该文件。
  2. 我从Hive查询表。 select正确返回步骤1中写入的行。
  3. Flume将另一行追加到somefile
  4. 现在,问题出在这里:我再次从Hive查询表格。 SELECT不显示步骤3中追加的行。
  5. 有人可以提出解决方法吗?我的理论是,Hive在内部缓存了somefile的内容,因此不会从HDFS中读取新内容。

    [1] CREATE EXTERNAL TABLE metrics (timestamp STRING, workflow STRING, result STRING) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' WITH SERDEPROPERTIES ( "input.regex" = ".*timestamp\":([0-9]+).*counters\":\\{\"\\.(.*?)\\.(.*?)\".*") LOCATION 'somepath';

0 个答案:

没有答案