在Apache Spark中跨执行程序共享数据

Question

我的SPARK项目（用Java编写）需要跨执行程序访问（选择查询结果）不同的表。

解决此问题的一种方法是：

1. 我创建一个tempView
2. 选择必填列
3. 使用 forEach 将DataFrame转换为Map。
4. 将该地图作为广播变量传递给执行者。

但是，我发现了

1. 有许多复杂的查询，其结果无法直接存储在Map
中
2. 表非常大，因此创建大Map并将其作为广播变量传递给执行者听起来不太有效。

相反，我们可以使用load来在内存中加载表吗，这些表可以在执行者之间共享？

是 void org.apache.spark.sql.Dataset.createOrReplaceTempView(String viewName)

或 void org.apache.spark.sql.Dataset.createGlobalTempView(String viewName) throws AnalysisException

用于此目的的方法有用吗？

SPARK VERSION：2.3.0

Answer 1

您可以广播一个DataFrame。参见documentation