Question

我正在使用mahout来运行k-means聚类，我在集群时遇到了识别数据条目的问题，例如我有100个数据条目

id      data
0       0.1 0.2 0.3 0.4
1       0.2 0.3 0.4 0.5
...     ...
100     0.2 0.4 0.4 0.5

在集群之后，我需要从集群结果中获取id以查看哪个点属于哪个集群，但似乎没有方法来维护id。

在聚合合成控制数据的官方mahout示例中，只有数据被输入到没有id的mahout

28.7812 34.4632 31.3381 31.2834 28.9207 ...
...
24.8923 25.741  27.5532 32.8217 27.8789 ...

，群集结果只有cluster-id和point值：

VL-539{n=38 c=[29.950, 30.459, ...
   Weight:  Point:
   1.0: [28.974, 29.026, 31.404, 27.894, 35.985...
   2.0: [24.214, 33.150, 31.521, 31.986, 29.064

但是没有point-id存在，所以，任何人都可以知道在进行mahout聚类时如何添加维持点id？非常感谢你！

Answer 1

为了达到这个目的，我使用了NamedVectors。

如您所知，在对数据进行任何群集化之前，您必须对其进行矢量化。

这意味着您必须将数据转换为Mahout向量，因为那是集群化算法使用的数据类型。

矢量化过程取决于数据的性质，即矢量化文本不一样矢量化数值。

您的数据似乎很容易呈现矢量化，因为它只有ID和4个数值。

您可以编写一个Hadoop作业来获取输入数据，例如，作为CSV文件，并输出一个已经向量化的数据的SequenceFile。

然后，将Mahout聚类算法应用于此输入，您将在聚类结果中保留每个向量的ID（向量名称）。

可以使用以下类实现矢量化数据的示例作业：

public class DenseVectorizationDriver extends Configured implements Tool{

    @Override
    public int run(String[] args) throws Exception {
        if (args.length != 2) {
            System.err.printf("Usage: %s [generic options] <input> <output>\n", getClass().getSimpleName());
            ToolRunner.printGenericCommandUsage(System.err); return -1;
        }
        Job job = new Job(getConf(), "Create Dense Vectors from CSV input");
        job.setJarByClass(DenseVectorizationDriver.class);

        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        job.setMapperClass(DenseVectorizationMapper.class);
        job.setReducerClass(DenseVectorizationReducer.class);

        job.setOutputKeyClass(LongWritable.class);
        job.setOutputValueClass(VectorWritable.class);

        job.setOutputFormatClass(SequenceFileOutputFormat.class);

        return job.waitForCompletion(true) ? 0 : 1;
    }
}


public class DenseVectorizationMapper extends Mapper<LongWritable, Text, LongWritable, VectorWritable>{
/*
 * This mapper class takes the input from a CSV file whose fields are separated by TAB and emits
 * the same key it receives (useless in this case) and a NamedVector as value.
 * The "name" of the NamedVector is the ID of each row.
 */
    @Override
    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        String line = value.toString();
        System.out.println("LINE: "+line);
        String[] lineParts = line.split("\t", -1);    
        String id = lineParts[0];

        //you should do some checks here to assure that this piece of data is correct

        Vector vector = new DenseVector(lineParts.length -1);
        for (int i = 1; i < lineParts.length -1; i++){
            String strValue = lineParts[i];
            System.out.println("VALUE: "+strValue);
            vector.set(i, Double.parseDouble(strValue));

        }

        vector =  new NamedVector(vector, id);

        context.write(key, new VectorWritable(vector));
    }
}


public class DenseVectorizationReducer extends Reducer<LongWritable, VectorWritable, LongWritable, VectorWritable>{
/*
 * This reducer simply writes the output without doing any computation.
 * Maybe it would be better to define this hadoop job without reduce phase.
 */
    @Override
    public void reduce(LongWritable key, Iterable<VectorWritable> values, Context context) throws IOException, InterruptedException{

        VectorWritable writeValue = values.iterator().next();
        context.write(key, writeValue);
    }
}

Answer 2

您的请求经常被不是从业者的程序员所忽视......不幸的是。我不知道怎么做Maout（到目前为止），但我从Apache-commons-math开始，其中包括具有相同缺陷的K-means。我对其进行了调整，以满足您的要求。你会在这里找到它： http://code.google.com/p/noolabsimplecluster/ 另外，不要忘记将数据标准化（线性）到区间[0..1]，否则任何聚类算法都会产生垃圾！

Answer 3

由kmeans生成的clusteredPoints目录包含此映射。请注意，您应该使用-cl选项来获取此数据。

如何在Mahout K-means聚类中维护数据输入ID

3 个答案: