Question

我目前正在研究一个文本语料库。
假设我清理了我的verbatims并且我有以下pyspark DataFrame：

df = spark.createDataFrame([(0, ["a", "b", "c"]),
                            (1, ["a", "b", "b", "c", "a"])],
                            ["label", "raw"])
df.show()

+-----+---------------+
|label|            raw|
+-----+---------------+
|    0|      [a, b, c]|
|    1|[a, b, b, c, a]|
+-----+---------------+

我现在想要实现一个CountVectorizer。所以，我使用pyspark.ml.feature.CountVectorizer如下：

cv = CountVectorizer(inputCol="raw", outputCol="vectors")
model = cv.fit(df)
model.transform(df).show(truncate=False)

+-----+---------------+-------------------------+
|label|raw            |vectors                  |
+-----+---------------+-------------------------+
|0    |[a, b, c]      |(3,[0,1,2],[1.0,1.0,1.0])|
|1    |[a, b, b, c, a]|(3,[0,1,2],[2.0,2.0,1.0])|
+-----+---------------+-------------------------+

现在，我还希望得到CountVectorizer选择的词汇，以及语料库中相应的词频。
使用cvmodel.vocabulary仅提供词汇表：

voc = cvmodel.vocabulary
voc
[u'b', u'a', u'c']

我想得到类似的东西：

voc = {u'a':3,u'b':3,u'c':2}

你有什么想法做这样的事情吗？

修改：
我正在使用Spark 2.1

Answer 1

调用cv.fit()会返回CountVectorizerModel，其中（AFAIK）会存储词汇表，但不存储计数。词汇表是模型的属性（它需要知道要计算的单词），但计数是DataFrame（不是模型）的属性。您可以应用拟合模型的变换函数来获取任何DataFrame的计数。

话虽如此，这里有两种方法可以获得您想要的输出。

<强> 1。使用现有的计数矢量化器模型

您可以使用pyspark.sql.functions.explode()和pyspark.sql.functions.collect_list()将整个语料库收集到一行中。为了便于说明，让我们考虑一个新的DataFrame df2，其中包含拟合CountVectorizer看不到的一些词：

import pyspark.sql.functions as f

df2 = sqlCtx.createDataFrame([(0, ["a", "b", "c", "x", "y"]),
                            (1, ["a", "b", "b", "c", "a"])],
                            ["label", "raw"])

combined_df = (
    df2.select(f.explode('raw').alias('col'))
      .select(f.collect_list('col').alias('raw'))
)
combined_df.show(truncate=False)
#+------------------------------+
#|raw                           |
#+------------------------------+
#|[a, b, c, x, y, a, b, b, c, a]|
#+------------------------------+

然后使用拟合模型将其转换为计数并收集结果：

counts = model.transform(combined_df).select('vectors').collect()
print(counts)
#[Row(vectors=SparseVector(3, {0: 3.0, 1: 3.0, 2: 2.0}))]

接下来zip计数和词汇表一起使用dict构造函数来获得所需的输出：

print(dict(zip(model.vocabulary, counts[0]['vectors'].values)))
#{u'a': 3.0, u'b': 3.0, u'c': 2.0}

正如您正确指出in the comments，这只会考虑CountVectorizerModel词汇中的单词。任何其他单词都将被忽略。因此，我们看不到"x"或"y"的任何条目。

<强> 2。使用DataFrame聚合函数

或者您可以跳过CountVectorizer并使用groupBy()获取输出。这是一个更通用的解决方案，它将为DataFrame中的所有单词提供计数，而不仅仅是词汇表中的单词：

counts = df2.select(f.explode('raw').alias('col')).groupBy('col').count().collect()
print(counts)
#[Row(col=u'x', count=1), Row(col=u'y', count=1), Row(col=u'c', count=2), 
# Row(col=u'b', count=3), Row(col=u'a', count=3)]

现在只需使用dict理解：

print({row['col']: row['count'] for row in counts})
#{u'a': 3, u'b': 3, u'c': 2, u'x': 1, u'y': 1}

此处我们还有"x"和"y"的计数。

语料库中的Pyspark CountVectorizer和Word Frequency

1 个答案: