Spark Scala加入Seq并点亮

Question

我正在学习Spark Scala编程，并且有一个这样的原型

val varible_a = varible_b.join(varible_c, Seq("column_a"))
    .withColumn ("column_b" , lit(50))

我不知道“ Seq”和“ lit(50)”的含义

看起来像 varible_b 来加入 varible_c ，但是没有加入条件 不确定“ Seq”是什么意思

在列“ column_b”后面加上“ lit(50)”，什么是lit(50)？

非常感谢你， 汤姆

Answer 1

Seq只是对一系列项目的引用，因此这是一个字符串序列，唯一的项目是引用column_a的字符串。在这种情况下，column_a是要连接的两个数据集的列名。但是有一个重载需要String，因此除非您需要针对多个列进行联接，否则您不需要Seq。

然后lit是文字的缩写，因此新列将包含值50。它必须包装在lit中，因为参数需要一个Column且此包装器将转换将该值转换为整数文字Column

希望对您有帮助！