如何正确地在两个Spark控制器之间进行负载平衡

Question

我们正在尝试在连接到Vora的两个Spark控制器之间进行负载平衡...

我们能够连接并且查询被发送到控制器。 当结果被传递回hana时，问题就会发生，因为进程挂起并且永远不会完成。

日志状态中的最后一行：

17/02/14 14:24:12 INFO CommandRouter$$anon$1: Created broadcast 7 from executeSelectTask at CommandRouter.scala:650
17/02/14 14:24:12 INFO CommandRouter$$anon$1: Starting job: executeSelectTask at CommandRouter.scala:650
17/02/14 14:24:12 INFO CommandRouter$$anon$1: Created broadcast 8 from broadcast at DAGScheduler.scala:1008
17/02/14 14:24:14 INFO CommandRouter$$anon$1: Created broadcast 9 from broadcast at DAGScheduler.scala:1008

是否有特定的配置允许在两个控制器之间进行负载平衡？

Answer 1

进程永远挂起的原因是因为运行Spark执行程序作业的节点不知道HANA主机的主机名，因此永远无法返回结果集。必须将其添加到节点的/ etc / hosts文件中。