Question

如何在 DataFrame 中高效创建新列 spark ？< /强>

这是我here所述问题的spark实现：

from nltk.metrics.distance import edit_distance as edit_dist from pyspark.sql.functions import col, udf from pyspark.sql.types import IntegerType d = { 'id': [1, 2, 3, 4, 5, 6], 'word': ['cat', 'hat', 'hag', 'hog', 'dog', 'elephant'] } spark_df = sqlCtx.createDataFrame(pd.DataFrame(d)) words_list = list(spark_df.select('word').collect()) get_n_similar = udf( lambda word: len( [ w for w in words_list if (w['word'] != word) and (edit_dist(w['word'], word) < 2) ] ), IntegerType() ) spark_df.withColumn('n_similar', get_n_similar(col('word'))).show()

输出：

+---+--------+---------+ |id |word |n_similar| +---+--------+---------+ |1 |cat |1 | |2 |hat |2 | |3 |hag |2 | |4 |hog |2 | |5 |dog |1 | |6 |elephant|0 | +---+--------+---------+

这里的问题是我不知道如何告诉spark将当前行与Dataframe中的其他行进行比较而不先将值收集到{{1}中}}。有没有办法在不调用list的情况下应用其他行的泛型函数？

Answer 1

这里的问题是，我不知道如何告诉spark将当前行与Dataframe中的其他行进行比较，而不先将值收集到列表中。

此处不支持UDF（您无法在DataFrame中引用分布式udf）您的逻辑的直接翻译是笛卡尔积和聚合：

from pyspark.sql.functions import levenshtein, col

result = (spark_df.alias("l")
    .crossJoin(spark_df.alias("r"))
    .where(levenshtein("l.word", "r.word") < 2)
    .where(col("l.word") != col("r.word"))
    .groupBy("l.id", "l.word")
    .count())

但在实践中，您应该尝试更高效地执行某些操作：Efficient string matching in Apache Spark

根据问题，您应该尝试找到其他近似值以避免使用完整的笛卡尔积。

如果您想保留不匹配的数据，可以跳过一个过滤器：

(spark_df.alias("l")
    .crossJoin(spark_df.alias("r"))
    .where(levenshtein("l.word", "r.word") < 2)
    .groupBy("l.id", "l.word")
    .count()
    .withColumn("count", col("count") - 1))

或（更慢，但更通用），加入参考：

(spark_df
    .select("id", "word")
    .distinct()
    .join(result, ["id", "word"], "left")
    .na.fill(0))

新的Dataframe列作为其他行的通用函数（spark）

1 个答案: