Question

我对Spark和Databricks来说还比较陌生，并且具有下面的代码来以正确的格式获取日期，然后可以将其追加到文件名字符串中。

%scala

// Getting the date for the file name
import org.apache.spark.sql.functions.{current_timestamp, date_format}
val dateFormat = "yyyyMMdd_HHmm"
val dateValue = spark.range(1).select(date_format(current_timestamp,dateFormat)).collectAsList().get(0).get(0)

val fileName = "TestFile_" + dateValue+ ".csv"

我觉得这是个笨手笨脚的方法，有没有更简单的方法可以简单地将当前日期转换为字符串？

Answer 1

date_format之后，您可以将其转换为匿名数据集，只需使用第一个函数将其转换为字符串变量即可。检查一下

scala> val dateFormat = "yyyyMMdd_HHmm"
dateFormat: String = yyyyMMdd_HHmm

scala> val dateValue = spark.range(1).select(date_format(current_timestamp,dateFormat)).as[(String)].first
dateValue: String = 20190320_2341

scala> val fileName = "TestFile_" + dateValue+ ".csv"
fileName: String = TestFile_20190320_2341.csv

scala>

无需创建df，就可以使用expr（）获得结果。

scala> val ts = (current_timestamp()).expr.eval().toString.toLong
ts: Long = 1553106289387000

scala> new java.sql.Timestamp(ts/1000)
res74: java.sql.Timestamp = 2019-03-20 23:54:49.387

上面的结果以普通scala形式提供，因此您可以使用日期/时间库进行格式化

EDIT1：

这是另一种方法，其格式为普通scala。

scala> val dateFormat = "yyyyMMdd_HHmm"
dateFormat: String = yyyyMMdd_HHmm

scala> val ts = (current_timestamp()).expr.eval().toString.toLong
ts: Long = 1553108012089000

scala> val dateValue = new java.sql.Timestamp(ts/1000).toLocalDateTime.format(java.time.format.DateTimeFormatter.ofPattern(dateFormat))
dateValue: String = 20190321_0023

scala> val fileName = "TestFile_" + dateValue+ ".csv"
fileName: String = TestFile_20190321_0023.csv

scala>

使用 pyspark

>>> dateFormat = "%Y%m%d_%H%M"
>>> import datetime
>>> ts=spark.sql(""" select current_timestamp() as ctime """).collect()[0]["ctime"]
>>> ts.strftime(dateFormat)
'20190328_1332'
>>> "TestFile_" +ts.strftime(dateFormat) + ".csv"
'TestFile_20190328_1332.csv'
>>>

Spark在字符串中获取当前日期

1 个答案: