这个问题已被问到here,但我认为没有答案。
我的环境:Spark v 2.2.1和Scala 2.11.8
如原始问题所示,似乎spark-shell需要完全合格的符号
import java.sql.Timestamp
case class Crime(
caseNumber: String, date: Timestamp,
description: String, detail: String,
arrest: Boolean
)
//<console>:12: error: not found: type Timestamp
// caseNumber: String, date: Timestamp,
// ^
但是,如果Timestamp
完全合格,则没有问题
case class Crime(
caseNumber: String, date: java.sql.Timestamp,
description: String, detail: String,
arrest: Boolean
)
// defined class Crime
即使是org.apache.spark.sql.Dataset
或org.apache.spark.sql.functions.{lit, col}
之类的内容,import
也无效。
知道为什么吗?并且可以避免使用完全合格的符号吗?
PS:Databricks似乎没有强加这种约束。