无法从Jupyter R内核中的SPARK_HOME或SPARK_HOME_VERSION中检测版本

时间:2018-11-28 14:45:37

标签: r jupyter

被困在这里: 我已经为R内核设置了环境设置,可以确认设置到位:

Sys.getenv("SPARK_HOME")

结果:

  

'/ opt / cloudera / parcels / CDH / lib / spark'

但是在R笔记本中,如果我想创建如下所示的spark上下文:

sc<-spark_connect(master='local')

我收到以下错误:

  

spark_version_from_home(spark_home,默认= spark_version)中的错误:   无法从SPARK_HOME或SPARK_HOME_VERSION中检测版本。尝试   明确传递Spark版本。追溯:

     
      
  1. spark_connect(master =“ local”)
  2.   
  3. shell_connection(master = master,spark_home = spark_home,app_name = app_name,。version =版本,hadoop_version = hadoop_version,shell_args = shell_args,.config = config,   服务=否,扩展程序=扩展程序)
  4.   
  5. start_shell(master = master,spark_home = spark_home,spark_version =版本,。app_name = app_name,config = config,jars = spark_config_value(config,。“ sparklyr.jars.default”,   list()),软件包= spark_config_value(config,。
      “ sparklyr.defaultPackages”),扩展名=扩展名。
      环境=环境,shell_args = shell_args,服务=服务)
  6.   
  7. spark_version_from_home(spark_home,默认= spark_version)
  8.   
  9. stop(“无法从SPARK_HOME或SPARK_HOME_VERSION中检测版本。”,。“尝试传递Spark版本   明确地”。)
  10.   

我该如何解决?谢谢。我已经搜索了stackoverflow中现有的类似问题/答案,但都没有找到适合我的情况。

谢谢。

0 个答案:

没有答案