Spark SQL - 在SparkSQL中连接两个Dataframe

时间:2018-04-07 22:56:50

标签: apache-spark apache-spark-sql spark-dataframe

我有两个Dataframe,每个只有一个记录和一个列,我想连接它们以在一行中检索结果。

目前:(两个独立的数据帧)

+-----------+
|women color|
+-----------+
|         14|
+-----------+

+---------+
|men color|
+---------+
|       11|
+---------+

所需:

+-----------+---------+------------+
|women color|men color|women-men   |
+-----------+---------+------------+
|         14|       11|           3|
+-----------+---------+------------+

提前致谢

1 个答案:

答案 0 :(得分:0)

如果两个数据帧只有1行,则可以交叉连接:

preg_match("/<br>(.+?)-/", $s, $matches);
$text = $matches ? $matches[1] : NULL;
var_dump($text);

甚至更好:不要将spark数据帧用于此任务,只需使用普通的scala数据结构