import org.apache.spark.sql.{DataFrame, Column, SparkSession}
object addColumn {
def main(args: Array[String]): Unit = {
println("hi")
val spark = SparkSession.builder.appName("sample spark job").config("spark.master", "local").getOrCreate()
import spark.implicits._
val df = Seq((1,"a"),(2,"aa"),(3,"bc")).toDF("num","string")
val newDf = df.withColumn("newColumn", $"string".contains("a"))
newDf.show()
}
def addColumn(df:DataFrame, fixedString: String, columnName: String): DataFrame = {
df.withColumn(columnName, $"string".contains(fixedString))
}
}
我在Scala Spark中有这样的代码,此代码的主要目的是向Spark DataFrame添加新列。 $方法在addColumn方法中无法识别,任何人都知道为什么以及如何解决它?