如何使用sparklyr计算字符串之间的距离？

Question

我需要使用sparklyr计算R中两个字符串之间的距离。有没有办法使用stringdist或任何其他包？我想用cousine距离。该距离用作stringdist函数的方法。

提前致谢。

Answer 1

您可以使用内置levenshtein功能：

df <- copy_to(sc, data.frame(a=c("This is it", "Foo"), b=c("This is", "foobar)))

# df %>% mutate(dist = levenshtein(a, b))
# # Source:   lazy query [?? x 3]
# # Database: spark_connection
#   a          b        dist
#   <chr>      <chr>   <int>
# 1 This is it This is     3
# 2 Foo        foobar      4