Question

我有主要创建火花上下文：

    val sc = new SparkContext(sparkConf)
    val sqlContext = new org.apache.spark.sql.SQLContext(sc)
    import sqlContext.implicits._

然后创建数据框并对数据框进行过滤和验证。

    val convertToHourly = udf((time: String) => time.substring(0, time.indexOf(':')) + ":00:00")

    val df = sqlContext.read.schema(struct).format("com.databricks.spark.csv").load(args(0))
    // record length cannot be < 2 
    .na.drop(3)
    // round to hours
    .withColumn("time",convertToHourly($"time"))

这很有效。

但是当我尝试通过将数据帧发送到

来将我的验证移动到另一个文件时

function ValidateAndTransform(df: DataFrame) : DataFrame = {...}

获取Dataframe＆amp;做验证和转换：似乎我需要

 import sqlContext.implicits._

为了避免错误：“value $不是StringContext的成员” 发生在线： .withColumn（＆＃34;时间＆＃34;，convertToHourly（的 $ ＆＃34;时间＆＃34））

但要使用import sqlContext.implicits._ 我还需要在新文件中定义sqlContext，如下所示：

val sc = new SparkContext(sparkConf)
val sqlContext = new org.apache.spark.sql.SQLContext(sc)

或将其发送到

function ValidateAndTransform(df: DataFrame) : DataFrame = {...}
function

我觉得我试图对2个文件进行分离（主要和验证）没有正确完成...

关于如何设计这个的任何想法？或者只是将sqlContext发送到函数？

谢谢！

Answer 1

您可以使用SQLContext的单例实例。您可以在spark repository

中查看此示例

/** Lazily instantiated singleton instance of SQLContext */
object SQLContextSingleton {

  @transient  private var instance: SQLContext = _

  def getInstance(sparkContext: SparkContext): SQLContext = {
    if (instance == null) {
      instance = new SQLContext(sparkContext)
    }
    instance
  }
}
...
//And wherever you want you can do
val sqlContext = SQLContextSingleton.getInstance(rdd.sparkContext)
import sqlContext.implicits._

Spark sql Dataframe - 导入sqlContext.implicits._

1 个答案: