如何根据第二列中的格式字符串转换第一列中的字符串日期

Question

我有两列的Apach Spark数据框。第一列包含日期的字符串表示形式，第二列包含日期格式。

+------------+------------+
|       date |     format |
+------------+------------+
| 01.12.2018 | dd.MM.yyyy |
| 22/10/2017 | dd/MM/yyyy |
+------------+------------+

我需要添加第三列“时间戳”，其中“日期”根据“格式”转换，如下所示：

val df1 = df.withColumn("dt", to_timestamp($"date", $"format"))
// !! Don't work because format of second parameter of "to_timestamp" has different type !!

我们如何构造这样的数据框？