如何阅读猪的SEQ文件

时间:2014-11-25 17:44:53

标签: hadoop apache-pig mahout mahout-recommender

我有M,U和userRatings部分文件作为ALS矩阵分解过程的中间结果。

标题是:

SEQ。 org.apache.hadoop.io.IntWritable%org.apache.mahout.math.VectorWritable

我需要使用那些矢量/功能进行操作,以找出ALS建议的解释(这是一个猜测)。它需要在PIG上。

谢谢, 尔

1 个答案:

答案 0 :(得分:0)

试试这个链接,它有很多关于如何使用elephantbird加载,存储和处理SEQ文件的例子。

例如:

     pair = LOAD '$data' USING com.twitter.elephantbird.pig.load.SequenceFileLoader (
       '-c com.twitter.elephantbird.pig.util.IntWritableConverter', 
       '-c com.twitter.elephantbird.pig.mahout.VectorWritableConverter'
     ) AS (key: int, val: (f1: double, f2: double, f3: double));

http://grepcode.com/file/repo1.maven.org/maven2/com.twitter.elephantbird/elephant-bird-mahout/3.0.1/com/twitter/elephantbird/pig/mahout/VectorWritableConverter.java