Question

我正在使用Hadoop 2.2.6迷你群集（1个Master和3个奴隶）与Ambari 2.1.0和Hue 3.8.1，Ubuntu 12.04。 Spark 1.2.1（使用Scala 2.10.3）作为Ambari设置的一部分安装。我已经安装了Livy-Server，可以在Hue中使用Spark Notebook。 hue.ini文件中的配置如下：

[spark]

# Host address of the Livy Server.

livy_server_host=host1.com

# Port of the Livy Server.

livy_server_port=8998

# Configure livy to start with 'process', 'thread', or 'yarn' workers.

livy_server_session_kind=process

# List of available types of snippets

languages='[{"name": "Scala Shell", "type": "spark"},{"name": "PySpark Shell", "type": "pyspark"},{"name": "R Shell", "type": "r"},{"name": "Jar", "type": "Jar"},{"name": "Python", "type": "py"},{"name": "Impala SQL", "type": "impala"},{"name": "Hive SQL", "type": "hive"},{"name": "Text", "type": "text"}]'

但是当我尝试在Notebook中输入简单命令时，每次我都有同样的错误：Gateway timeout Error 504。当我使用：

从shell手动启动Livy-Server时

./build/env/bin/hue livy_server

我有其他文章中提到的结果，但没有解决方案： http://gethue.com/new-notebook-application-for-spark-sql/#comment-56901 任何想法如何解决，甚至在哪里看？除了Spark Notebook之外，其他应用程序也可以正常运行。我是大数据和hadoop的新手，阅读论坛寻找可能的解决方案，但没有发现任何与此问题相关的内容，是配置错误还是我在安装过程中遗漏了什么？任何帮助高度赞赏。感谢

Answer 1

Livy从未使用Spark 1.2进行过测试。它最初是为1.3创建的，目前正在使用1.4和1.5几乎全部在那里：https://github.com/cloudera/hue/tree/master/apps/spark/java#prerequisites

为什么Hue中的Spark Notebook报告“网关超时错误504”？

1 个答案: