Question

我已经使用Spark成功配置了Zeppelin。但是，我想使用多租户，为此我想用Livy和Spark配置Zeppelin。

对于Livy，我提供了以下两条路径

export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf

我可以在Zeppelin中成功运行以下命令：

%livy.spark
sc.version

但是，以下命令失败：

%livy.sql
select * from myDB.table1

我看到以下错误：

<console>:14: error: not found: value sqlContext
              sqlContext.sql("select * from datalake.combination2").show(1000)

我还没有为Zeppelin启用Shiro身份验证。我的假设是Livy会使用默认用户登录Spark，因为我提供了Spark主目录。任何人都可以指出我如何解决上述问题？而且，我需要做什么配置才能实现模拟？

Answer 1

当我的集群没有足够的资源来启动livy会话时，这会发生在我身上。您在齐柏林飞艇中配置了livy会话吗？
解释器-> livy2->基本的火花配置：

      - livy.spark.driver.cores  
      - livy.spark.driver.memory  
      - livy.spark.executor.cores   
      - livy.spark.executor.instances   
      - livy.spark.executor.memory  
      - livy.spark.master  
      - livy.spark.submit.deployMode

还配置解释器实例化：全局|用户|注意

如何为Zeppelin配置Livy / spark？

1 个答案: