我能比较两个不同数据帧的火花中的3列并行吗?

时间:2018-01-05 05:36:50

标签: scala apache-spark bigdata

我有两个数据帧a)元数据 - 使用SAS dataformat

 metadata.show
+----+----------------+----+---+-----------+-----------+
|S_No|        Variable|Type|Len|     Format|   Informat|
+----+----------------+----+---+-----------+-----------+
|   1|        DATETIME| Num|  8|DATETIME20.|DATETIME20.|
|   2|   LOAD_DATETIME| Num|  8|DATETIME20.|DATETIME20.|
|   3|     SOURCE_BANK|Char|  1|           |       null|
|   4|        EMP_NAME|Char| 50|           |       null|
|   5|HEADER_ROW_COUNT| Num|  8|           |       null|
|   6|       EMP_HOURS| Num|  8|       15.2|       15.1|
+----+----------------+----+---+-----------+-----------+

and second containing hive dataformat
scala> df2.show
+----------------+-------------+
|        Variable|         type|
+----------------+-------------+
|        datetime|TimestampType|
|   load_datetime|TimestampType|
|     source_bank|   StringType|
|        emp_name|   StringType|
|header_row_count|  IntegerType|
|       emp_hours|   DoubleType|
+----------------+-------------+

现在,我需要使用df2验证元数据,如果timestamptypeNum中使用Datetime&格式SAS进行验证,则结果应为true。 else case应该返回false。同样适用于所有类型。

任何人都可以提供帮助。

提前致谢

0 个答案:

没有答案