$不能在单独的Spark方法中使用

时间:2019-09-21 21:07:08

标签: scala apache-spark

import org.apache.spark.sql.{DataFrame, Column, SparkSession}

object addColumn {

  def main(args: Array[String]): Unit = {
    println("hi")
    val spark = SparkSession.builder.appName("sample spark job").config("spark.master", "local").getOrCreate()
    import spark.implicits._
    val df = Seq((1,"a"),(2,"aa"),(3,"bc")).toDF("num","string")
    val newDf = df.withColumn("newColumn", $"string".contains("a"))
    newDf.show()
  }

  def addColumn(df:DataFrame, fixedString: String, columnName: String): DataFrame = {
    df.withColumn(columnName, $"string".contains(fixedString))
  }
}

我在Scala Spark中有这样的代码,此代码的主要目的是向Spark DataFrame添加新列。 $方法在addColumn方法中无法识别,任何人都知道为什么以及如何解决它?

0 个答案:

没有答案