Pig UDF(从api加载数据)

时间:2013-07-09 02:30:49

标签: apache-pig

我正在尝试编写自己的UDF来从端点加载数据。以下是场景

// A = load the user information from the cassandra db 
// B = iterate through the data and make string of userids (1,2,3) 
// C = send it to    some UDF which can go to some external api to fetch the user  information 
// D = join A and C on user id 
// E = group by information fetched from UDF 
// dump E;

据我所知,只有4种类型的UDF。加载,过滤,EvalFunc和存储。我尝试了LoadFunc但看起来总是需要一些文件名位置来加载信息。我不想从文件中读取。

有没有办法实现上述方案。

0 个答案:

没有答案