Spark数据帧将整数转换为时间戳并查找日期差异

Question

我此DataFrame org.apache.spark.sql.DataFrame：

|-- timestamp: integer (nullable = true)
|-- checkIn: string (nullable = true)

| timestamp|   checkIn|
+----------+----------+
|1521710892|2018-05-19|
|1521710892|2018-05-19|

期望的结果：获取一个新列，其中包含日期checkIn和timestamp之间的日差（ 2018-03-03 23:59:59 和 2018-03-04 00:00:01 应该有1）

的差异

因此，我需要

• 将时间戳转换为日期（这是我被困的地方）
• 从另一个
取出一个日期
• 使用某些功能提取日期（尚未找到此功能）

Answer 1

您可以使用------------------------------------------------------- Id | name |parentId | path | depth | pathNames ------------------------------------------------------- 55 | Canada | null | null | 0 . | None 77 | Ontario | 55 | /55 | 1 . | Canada 100| Toronto | 77 | /55/77 | 2 . | Canada, Ontario 104| Brampton| 100 | /55/77/100 | 3 . | Canada, Ontario, Toronto 将时间戳转换为日期，并使用from_unixtime来计算天数差异：

datediff