Question

我使用的是Spark SQL 1.5.0，我有两个数据帧，其中一个较小（小于3 mb）而第二个较大，我想使用Spark SQL函数使用广播连接（强制广播提示），但我得到低于错误。 pf1数据帧的容量为3 MB数据

str

java.lang.AssertionError：断言失败：没有BroadcastHint的计划。无法找到解决方案（因为这是我的简单连接超过40分钟没有广播），

任何帮助表示赞赏

Answer 1

您目前正在通过不指定连接条件来进行交叉连接。添加联接条件，例如col("pf1_id") === col("id")

然后连接应该快得多。如果您确实需要进行交叉连接，请进一步详细说明更多代码，示例数据和更广泛的堆栈跟踪。