我在Pig中坚持使用字符串解析。
我查看了regex_extract
和regex_extract_all
周围的文档,并希望使用其中一个函数。
我有档案'/logs/test.log'
:
cat '/logs/test.log'
user=242562&friend=6226&friend=93856&age=35&friend=35900
我想从网址中提取friend
标记,在这种情况下,我有3个相同的标记。 regex_extract
似乎只适用于第一个实例,这是我所期望的,对于regex_extract_all
,似乎我已经知道整个字符串模式,它在源文件的每一行都会发生变化。 / p>
regex_extract
看起来没问题,但这个选项只给我第一个。
[root@test]# pig -x local
A = LOAD './test.log';
B = FOREACH A GENERATE REGEX_EXTRACT($0, 'friend=([0-9]*)',1);
dump B;
(6226)
我在regex_extract_all
看到的示例显示正则表达式,您可以在其中找到所有标记:
B = FOREACH A GENERATE FLATTEN(REGEX_EXTRACT_ALL($0, 'user=([0-9]+?)&friend=([0-9]+?)&friend=([0-9]+?)&.+?'));
dump B;
(242562,6226,93856)
这似乎有效,但我真的只想提取朋友 - (6226,93856,35900)。我也有每个用户可能有多于或少于3个朋友的情况。
有什么想法吗?
同时考虑使用像FLATTEN(TOKENIZE($0,'&'))
这样的东西,然后以某种方式只过滤SUBSTRING($0,0,INDEXOF($0,'=')) == 'friend'
或类似的东西,但想知道是否有人知道一个好的正则表达式方法。
答案 0 :(得分:2)
这可以通过简单的字符串操作来实现:
inputs = LOAD 'input' AS (line: chararray);
tokenized = FOREACH inputs GENERATE FLATTEN(TOKENIZE(line, '&')) AS parameter;
filtered = FILTER tokenized BY INDEXOF(parameter, 'friend=') != -1;
result = FOREACH filtered GENERATE SUBSTRING(parameter, 7, (int)SIZE(parameter)) AS friend_number;
DESCRIBE tokenized;
DUMP tokenized;
DESCRIBE filtered;
DUMP filtered;
DESCRIBE result;
DUMP result;
结果:
tokenized: {parameter: chararray}
(user=242562)
(friend=6226)
(friend=93856)
(age=35)
(friend=35900)
filtered: {parameter: chararray}
(friend=6226)
(friend=93856)
(friend=35900)
result: {friend_number: chararray}
(6226)
(93856)
(35900)
答案 1 :(得分:0)
试试这个:
a = LOAD '/logs/test.log' USING PigStorage('&') as (f1, f2, f3, f4, f5);
b = FOREACH a GENERATE REGEX_EXTRACT(f2,'friend=([0-9]*)', 1),
REGEX_EXTRACT(f3,'friend=([0-9]*)', 1),
REGEX_EXTRACT(f5,'friend=([0-9]*)', 1);
DUMP b;