Question

我正在尝试使用Serde Regex属性创建一个配置单元表以加载以下文件。

输入文件：

$ hdfs dfs -cat /user/t04413b/test.log
{"repoType":3,"repo":"PROD_hive","reqUser":"shdingst","evtTime":"2020-06-09 01:01:23.308"}

配置单元创建表查询：

create external table logs3
(
repo_type  string,
repo string,
requser string,
evttime string
)
row format serde 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
with serdeproperties (
"input.regex" = ":(.*),.*:(.*),.*:(.*),.*?:(.*)}.*"
)
stored as textfile;

将路径'/user/t04413b/test.log'中的数据加载到表logs3;

select * from logs3;
+------------------+-------------+----------------+----------------+--+
| logs3.repo_type  | logs3.repo  | logs3.requser  | logs3.evttime  |
+------------------+-------------+----------------+----------------+--+
| NULL             | NULL        | NULL           | NULL           |

我在Rubular.com上测试了正则表达式，它工作正常，但在SerDe Regex中却无法正常工作。有人可以帮忙解决吗？谢谢

Answer 1

'}'是正则表达式中的特殊字符，需要屏蔽：

"input.regex" = "^.*:(.*),.*:(.*),.*:(.*),.*?:(.*)\\}.*"

Hive RegEx Serde无法正常工作并加载为NULL

1 个答案: