Question

我有DataSet如下：

+----+---------+-------------------------+
|key |value    |vector                   |
+----+---------+-------------------------+
|key0|[a, d]   |(5,[0,2],[1.0,1.0])      |
|key1|[c]      |(5,[1],[1.0])            |
|key2|[b, d, e]|(5,[0,3,4],[1.0,1.0,1.0])|
|key3|[a, c, d]|(5,[0,1,2],[1.0,1.0,1.0])|
+----+---------+-------------------------+

此数据集的vector部分称为＆＃34;特征矩阵＆＃34;，它代表＆＃34;哪个文档包含哪个元素＆＃34;。让我用一种更容易上眼的格式写出特征矩阵：

+--------+------+------+------+------+
|element | doc0 | doc1 | doc2 | doc3 |
+--------+------+------+------+------+
|   d    |   1  |  0   |  1   |  1   |
|   c    |   0  |  1   |  0   |  1   |
|   a    |   1  |  0   |  0   |  1   |
|   b    |   0  |  0   |  1   |  0   |
|   e    |   0  |  0   |  1   |  0   |  
+--------+------+------+------+------+

如果仔细查看，可以看到key0映射到doc0，其中包含元素a和d，这就是为什么它有(5,[0,2],[1.0,1.0])给出的向量{1}}（向量是doc0下的列。注意特征矩阵本身不包含element列和第一行，它们只是为了制作阅读更容易。

现在，我的目标是使用N哈希函数来获取此特征矩阵的 Minhash签名。

例如，让N = 2，换句话说，使用两个Hash函数，让我们也说下面这两个哈希函数：

(x + 1) % 5
(3x + 1) % 5

和x是特征矩阵中的行号。使用这两个哈希函数后，我期待＆＃34; minhash签名矩阵＆＃34;看起来像这样：

+--------+------+------+------+------+
|        | doc0 | doc1 | doc2 | doc3 |
+--------+------+------+------+------+
|   h1   |   1  |  3   |  0   |  1   |
|   h2   |   0  |  2   |  0   |  0   |
+--------+------+------+------+------+

现在，使用Spark Java，我如何指定我想要使用的这两个哈希函数，然后如何从给定的数据集生成上述RDD（在这个问题的乞讨时）？在实际测试用例中，我可能会使用大约1000个哈希函数，但是现在理解如何使用2就足够了。

我一直在搜索和阅读Spark文档，但似乎很难得到一个处理程序。任何提示/指导对我都有很大帮助。

提前谢谢！

现在，我确实查看了文档，并且我有以下代码：

<pre>
    List<Tuple2<String, String[]>> data  = Arrays.asList(
            new Tuple2<>("key0", new String [] {"a", "d"}),
            new Tuple2<>("key1", new String [] {"c"}),
            new Tuple2<>("key2", new String [] {"b", "d", "e"}),
            new Tuple2<>("key3", new String [] {"a", "c", "d"})
    );
    JavaPairRDD<String, String[]> rdd = JavaPairRDD.fromJavaRDD(jsc.parallelize(data));
    rdd.values().foreach(new VoidFunction<String[]>() {
        public void call(String[] rows) throws Exception {
            for ( int i = 0; i < rows.length; i ++ ) {
                System.out.print(rows[i] + "|");                    
            }
            System.out.println();
        }
    });

    StructType schema = StructType.fromDDL("key string, value array<String>");
    Dataset<Row> df = spark.createDataFrame(
            rdd.map((Function<Tuple2<String, String[]>, Row>) value -> RowFactory.create(value._1(), value._2())),
            schema
    );
    df.show(false);

    CountVectorizer vectorizer = new CountVectorizer().setInputCol("value").setOutputCol("vector").setBinary(false);
    Dataset<Row> matrixDoc = vectorizer.fit(df).transform(df);

    MinHashLSH mh = new MinHashLSH()
      .setNumHashTables(5)
      .setInputCol("vector")
      .setOutputCol("hashes");

    MinHashLSHModel model = mh.fit(matrixDoc);
    model.transform(matrixDoc).show(false);


here is what I got:
+----+---------+-------------------------+---------------------------------------------------------------------------------------+
|key |value    |vector                   |hashes                                                                                 |
+----+---------+-------------------------+---------------------------------------------------------------------------------------+
|key0|[a, d]   |(5,[0,1],[1.0,1.0])      |[[7.57939931E8], [-1.974869772E9], [-1.974047307E9], [4.95314097E8], [7.01119548E8]]   |
|key1|[c]      |(5,[2],[1.0])            |[[-2.031299587E9], [-1.758749518E9], [-4.86208737E8], [1.247220523E9], [1.702128832E9]]|
|key2|[b, d, e]|(5,[0,3,4],[1.0,1.0,1.0])|[[-1.278435698E9], [-1.542629264E9], [-1.974047307E9], [4.95314097E8], [-1.59182918E9]]|
|key3|[a, c, d]|(5,[0,1,2],[1.0,1.0,1.0])|[[-2.031299587E9], [-1.974869772E9], [-1.974047307E9], [4.95314097E8], [7.01119548E8]] |
+----+---------+-------------------------+---------------------------------------------------------------------------------------+

现在，我不知道如何解释结果...... Spark使用了哪些哈希函数？我可以控制这些功能吗？然后我如何将结果散列到不同的桶中，以便相同桶中的文档是＆＃34;相同的＆＃34;文件？毕竟，我们不想做成对比较...

如何使用Spark计算给定特征矩阵的Minhash签名

0 个答案: