Question

我使用的是Spark 2.0.0，我有两个数据集（Dataset [Row]），如下所示。

数据集＆＃39; appUsage＆＃39;：

+----------+-------------------+----------+
|DATE      |APP_ID             |TIMES_USED|
+----------+-------------------+----------+
|2016-08-03|06xgKq10eeq0REK4eAc|null      |
|2016-08-03|ssads2wsdsf        |null      |
|2016-08-03|testApp            |null      |
|2016-08-03|3222aClie-971837083|5         |
|2016-08-03|V2aadingTLV02      |null      |
|2016-08-03|OurRating-985443645|5         |
|2016-08-03|Trdssktin-743439164|null      |
|2016-08-03|myaa1-app          |null      |
|2016-08-03|123123123-013663450|null      |
+----------+-------------------+----------+

数据集＆＃39; appDev＆＃39;

+-------------------+------------------------------------+
|APP_ID             |DEVELOPER_ID                        |
+-------------------+------------------------------------+
|OurRating-985443645|5fff25c7-6a70-4d54-ad04-197be4b9a6a9|
|Xa11d0-560090096095|5fff25c7-6a70-4d54-ad04-197be4b9a6a9|
+-------------------+------------------------------------+

当我使用以下代码进行左连接时，它都按预期工作。

val result = appUsage.join(appDev, Seq("APP_ID"), "left")

输出是：

+-------------------+----------+----------+------------------------------------+
|APP_ID             |DATE      |TIMES_USED|DEVELOPER_ID                        |
+-------------------+----------+----------+------------------------------------+
|06xgKq10eeq0REK4eAc|2016-08-03|null      |null                                |
|ssads2wsdsf        |2016-08-03|null      |null                                |
|testApp            |2016-08-03|null      |null                                |
|3222aClie-971837083|2016-08-03|5         |null                                |
|V2aadingTLV02      |2016-08-03|null      |null                                |
|OurRating-985443645|2016-08-03|5         |5fff25c7-6a70-4d54-ad04-197be4b9a6a9|
|Trdssktin-743439164|2016-08-03|null      |null                                |
|myaa1-app          |2016-08-03|null      |null                                |
|123123123-013663450|2016-08-03|null      |null                                |
+-------------------+----------+----------+------------------------------------+

但我想做一个内连接，这样只有两个数据集中存在的行才会成为结果集的一部分。但是，当我使用以下代码执行此操作时，输出为空。

val result = appUsage.join(appDev, Seq("APP_ID"), "inner")

我错过了什么吗？

Answer 1

试试这个：

val result = appUsage.join(appDev, "APP_ID")

我在Databrics cloud上使用Spark 2.0.0进行了尝试，但效果很好。

请参阅this。

Spark数据集 - 内部连接问题

1 个答案: