如何将行与spark数据集中的所有其他行进行比较？

Question

我有一个从MySQL加载的spark数据集，我希望将每一行与数据集中的所有其他行进行比较，并使用获得的结果创建一个新的数据集。有没有办法实现它？

Answer 1

您可能希望通过匹配行的字段来连接两个数据集。 您可以匹配这样的两个数据集并加入

val结果= DF1.join（DF2，（DF1（＆＃34; USER_ID＆＃34;）=== DF2（＆＃34; USER_ID＆＃34;））＆amp;＆amp;（DF1（＆＃34; SESSION_ID＆＃34;）=== DF2（＆＃34; SESSION_ID＆＃34;））＆amp;＆amp;（DF1（＆＃34; DATE＆＃34;）=== DF2（＆＃34; DATE＆＃34;） ）） 。选择（DF1（＆＃34; USER_ID＆＃34），DF1（＆＃34; SESSION_ID＆＃34），DF1（＆＃34; DATE＆＃34），DF2（＆＃34; COUNTRY＆＃34） ）