Question

我正在使用Spark。如何使用Spark获取csv文件的反向索引？我有csv文件

df.show()
+--------+--------------------+--------------------+----------+
|      id|               title|                tags|closeddate|
+--------+--------------------+--------------------+----------+
|48702270|                null|                null|      null|
|48702455|                null|                null|      null|
|48702469|                null|                null|      null|
|48704166|                null|                null|      null|
|48704172|                null|                null|      null|
|48704243|Transfer files fr...|<java><android><f...|      null|
|48704263|for each loops as...|<java><java-8><mu...|      null|

如何获得显示顶部标签的倒排索引作为示例？

Answer 1

首先，您需要将tags列转换为数组，如下所示：

from pyspark.sql.types import *
def read_tags_raw(tags_string): 
    return tags_string.strip('>').strip('<').split('><') if tags_string else []

read_tags = udf(read_tags_raw, ArrayType(StringType()))
df_valid_tags = df.withColumn('tags', read_tags('tags'))

然后你调用explode和group by tag来创建倒排索引：

df_valid_tags.select(explode('tags').alias('tag'), 'id') \
    .groupBy('tag').agg(collect_list('id').alias('ids'))

使用SO数据库祝你好运; - ）

我怎样才能获得倒排索引？

1 个答案: