Spark默认类

Question

我在代码中使用withColumn()函数；但是，我还没有导入下面的类：

import org.apache.spark.sql.DataFrame 

我想知道为什么编译器没有抛出错误。这是默认班吗？如果是这样，Spark中的默认类是什么？

Answer 1

我认为您首先要知道的是Spark版本，如果使用的Spark版本小于2.0，则存在org.apache.spark.sql.DataFrame，因此您必须使用DataFrame中的withColumn（） 。如果您使用的Spark版本大于2.0，则需要使用org.apache.spark.sql.DataSet来将DataSet与Column（）一起使用。