我是Pig的新手,我想将一包元组转换为每个元组中具有特定值的映射作为键。基本上我想改变:
{(id1, value1),(id2, value2), ...}
加入[id1#value1, id2#value2]
我已经在网上寻找了一段时间,但我似乎无法找到解决方案。我试过了:
bigQMap = FOREACH bigQFields GENERATE TOMAP(queryId, queryStart);
但我最终得到了一袋地图(例如{[id1#value1], [id2#value2], ...}
),这不是我想要的。如何从一袋键值元组中建立一张地图?
以下是我试图运行的具体脚本,如果相关的话
rawlines = LOAD '...' USING PigStorage('`');
bigQFields = FOREACH bigQLogs GENERATE GFV(*,'queryId')
as queryId, GFV(*, 'queryStart')
as queryStart;
bigQMap = ?? how to make a map with queryId as key and queryStart as value ?? ;
答案 0 :(得分:11)
TOMAP
采用一系列对并将它们转换为地图,因此可以像以下一样使用:
-- Schema: A:{foo:chararray, bar:int, bing:chararray, bang:int}
-- Data: (John, 27, Joe, 30)
B = FOREACH A GENERATE TOMAP(foo, bar, bing, bang) AS m ;
-- Schema: B:{m: map[]}
-- Data: (John#27,Joe#30)
因此,您可以看到语法不支持将包转换为地图。据我所知,没有办法转换你必须在纯猪中绘制的格式的包。但是,您可以明确地编写java UDF来执行此操作。
注意:我对java不太熟悉,因此可以轻松改进此UDF(添加异常处理,如果一个键添加两次会发生什么等)。但是,它确实完成了你所需要的。
package myudfs;
import java.io.IOException;
import org.apache.pig.EvalFunc;
import java.util.Map;
import java.util.HashMap;
import java.util.Iterator;
import org.apache.pig.data.Tuple;
import org.apache.pig.data.DataBag;
public class ConvertToMap extends EvalFunc<Map>
{
public Map exec(Tuple input) throws IOException {
DataBag values = (DataBag)input.get(0);
Map<Object, Object> m = new HashMap<Object, Object>();
for (Iterator<Tuple> it = values.iterator(); it.hasNext();) {
Tuple t = it.next();
m.put(t.get(0), t.get(1));
}
return m;
}
}
将脚本编译成jar后,可以使用它:
REGISTER myudfs.jar ;
-- A is loading some sample data I made
A = LOAD 'foo.in' AS (foo:{T:(id:chararray, value:chararray)}) ;
B = FOREACH A GENERATE myudfs.ConvertToMap(foo) AS bar;
foo.in
的内容:
{(open,apache),(apache,hadoop)}
{(foo,bar),(bar,foo),(open,what)}
B
的输出:
([open#apache,apache#hadoop])
([bar#foo,open#what,foo#bar])
另一种方法是使用python to create the UDF:
#!/usr/bin/python
@outputSchema("foo:map[]")
def BagtoMap(bag):
d = {}
for key, value in bag:
d[key] = value
return d
使用方法如下:
Register 'myudfs.py' using jython as myfuncs;
-- A is still just loading some of my test data
A = LOAD 'foo.in' AS (foo:{T:(key:chararray, value:chararray)}) ;
B = FOREACH A GENERATE myfuncs.BagtoMap(foo) ;
并生成与Java UDF相同的输出。
<强>奖金:强>
由于我不太喜欢地图,here是一个链接,解释了如何使用键值对来复制地图的功能。由于您的键值对包在一个包中,您需要在嵌套的FOREACH
中执行类似地图的操作:
-- A is a schema that contains kv_pairs, a bag in the form {(id, value)}
B = FOREACH A {
temp = FOREACH kv_pairs GENERATE (key=='foo'?value:NULL) ;
-- Output is like: ({(),(thevalue),(),()})
-- MAX will pull the maximum value from the filtered bag, which is
-- value (the chararray) if the key matched. Otherwise it will return NULL.
GENERATE MAX(temp) as kv_pairs_filtered ;
}
答案 1 :(得分:1)
我遇到了同样的情况,所以我提交了一个刚被接受的补丁:https://issues.apache.org/jira/browse/PIG-4638
这意味着你想要的是从猪0.16开始的核心部分。