我有两个数据帧a)元数据 - 使用SAS dataformat
metadata.show
+----+----------------+----+---+-----------+-----------+
|S_No| Variable|Type|Len| Format| Informat|
+----+----------------+----+---+-----------+-----------+
| 1| DATETIME| Num| 8|DATETIME20.|DATETIME20.|
| 2| LOAD_DATETIME| Num| 8|DATETIME20.|DATETIME20.|
| 3| SOURCE_BANK|Char| 1| | null|
| 4| EMP_NAME|Char| 50| | null|
| 5|HEADER_ROW_COUNT| Num| 8| | null|
| 6| EMP_HOURS| Num| 8| 15.2| 15.1|
+----+----------------+----+---+-----------+-----------+
and second containing hive dataformat
scala> df2.show
+----------------+-------------+
| Variable| type|
+----------------+-------------+
| datetime|TimestampType|
| load_datetime|TimestampType|
| source_bank| StringType|
| emp_name| StringType|
|header_row_count| IntegerType|
| emp_hours| DoubleType|
+----------------+-------------+
现在,我需要使用df2验证元数据,如果timestamptype
在Num
中使用Datetime
&格式SAS
进行验证,则结果应为true。 else case应该返回false。同样适用于所有类型。
任何人都可以提供帮助。
提前致谢