我有一个外部hive表[1],指向HDFS中的somepath
目录。以下是我关注的事件序列:
somefile
中创建一个新文件somepath
,并将一行写入该文件。somefile
。有人可以提出解决方法吗?我的理论是,Hive在内部缓存了somefile
的内容,因此不会从HDFS中读取新内容。
[1] CREATE EXTERNAL TABLE metrics (timestamp STRING, workflow STRING, result STRING) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' WITH SERDEPROPERTIES ( "input.regex" = ".*timestamp\":([0-9]+).*counters\":\\{\"\\.(.*?)\\.(.*?)\".*") LOCATION 'somepath';