如何在Scala中处理null datetime字段并将其转换为unixtime标记

时间:2018-03-08 02:47:17

标签: rdd unix-timestamp

我有一些Scala不接受的代码片段,如果有人可以帮忙修复它,我们将不胜感激,谢谢。 train_no_header是从csv文件生成的RDD,其第一行如下所示:

scala> train_no_header.first
res4: String = 87540,12,1,13,497,2017-11-07 09:30:38,,0

现在,我想生成另一个RDD来解析和转换第6个字段的空值或空值的记录,该字段应该是DateTime(在上面的示例中该字段为空),某些记录可能有,有些可能没有,对于那些具有该格式的人,格式与第5个相同,即UTC日期时间。

我需要计算两个DateTime之间的差值,我计划将它们转换为Unixtime格式,也就是说,最终的RDD应该将两个日期字段转换为Unixtime格式。

所以我的问题是:

  1. 使用示例数据和格式,如何创建具有所需结果的RDD?
  2. 对于第6个字段中具有空值的记录,我该如何处理它,以便在数据框的未来查询中不会产生异常(这是我打算工作的)
  3. 非常感谢您提前,任何线索都表示赞赏。

0 个答案:

没有答案