使用Apache Spark的Time类/类型

Question

注意：我使用的是Spark 2.2.0。尝试从我的Zeppelin笔记本运行我的Scala代码时出现错误

%spark
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.streaming.{Time, Seconds, StreamingContext}
...
...
case class Record(time: Time, topic: String, count: Integer)
...
...

import org.apache.spark.streaming.{Time, Seconds, StreamingContext}应该允许我使用Time

当我尝试在Zeppelin中运行段落/块时，我收到此错误：
<console>:12: error: not found: type Time
case class Record(time: Time, topic: String, count: Integer)

问题是什么？ {2}已弃用Time或Spark 2中的某些内容？ Time的任何替代方案？

Answer 1

通常，在使用Spark SQL或Spark Structured Streaming时，我建议坚持使用java.sql.Timestamp和java.sql.Date：它们与生态系统完全集成，这意味着您不需要自定义序列化程序是very nice built-in functions（在Date functions部分查找）您可以使用。