Spark Temptable与广播

时间:2018-03-22 09:14:23

标签: apache-spark apache-spark-sql spark-dataframe

我有一个需要专家建议的问题/意见。

我有一个名为 config 的表,其中包含一些配置信息,如表名所示。我需要在我的工作生命周期中从所有执行者那里获取这些细节。所以我的第一个选项是列表[案例类]中的 广播 。但突然想到了 config 使用<head> <!--load everything--> <script defer src="/static/fontawesome/fontawesome-all.js"></script> </head> 进行Temptable并在我的工作中使用它。

这种临时表方法可以替代广播变量(我对广播有广泛的实践)?

2 个答案:

答案 0 :(得分:1)

registerTempTable()然后使用它进行查找,主要是在内部使用广播连接,因为表格/配置文件大小&lt; 10MB。

答案 1 :(得分:1)

registerTempTable只是为您提供了在数据帧上运行纯SQL查询的可能性,并没有涉及性能优势/缓存/实现。

您应该使用广播(我建议使用Map配置参数)