在Spark中的except（）操作期间进行字段标识

Question

except()在spark工作中的功能是比较两个数据帧并从第一个数据帧返回不匹配的记录。

但是，我也想跟踪不匹配的字段详细信息。如何做到这一点？请帮助

Answer 1

如前所述，

将使您完全不匹配行。因此，我建议使用leftanti联接而不是except，并以一个或多个联接键为条件。您可以使用主键或复合键。如果没有这些键，行将不匹配。然后，您需要再编写一个查询，其中您的键匹配即交叉点，但其他列中不匹配的键。为这种w.r.t键编写一个内部联接，在这种情况下，table1.colA！= table2.colA对于所有情况都适用于这种情况。