Apache / Cloudera HUE / Livy Spark Server-InterpreterError：无法启动解释器

Question

我现在很茫然。我正在尝试使用Spark 2.4 + Livy Server 0.5.0在Apache HUE 4.3上运行PySpark / SparkR。我遵循了我能找到的所有指南，但是我一直遇到这个问题。基本上，我可以通过命令行运行PySpark / SparkR，但是由于某种原因，HUE会执行以下操作：

• 忽略我在多个位置（spark-defaults.conf，livy.conf和livy-client.conf）设置的所有Spark配置（执行程序内存，内核等）
• 成功为PySpark和SparkR创建了会话，但是当您尝试执行任何操作（甚至只是print(1+1)）时，我也会得到InterpreterError: Fail to start interpreter
• 实际上在Scue上与Scala一起使用。 Scala可以工作，但是PySpark和SparkR不在HUE上运行（大概是因为Scala基于Java）。

我可以提供任何需要的配置。这真让我发疯。

我也无法通过REST API与PySpark进行交互，相同的InterpreterError。这使我相信它比HUE更基于Livy Server。

Answer 1

弄清楚了。我试图在cluster模式下在YARN上运行Spark，然后切换到client并进行了修复。在群集计算机上必须缺少参考/文件。