被困在这里: 我已经为R内核设置了环境设置,可以确认设置到位:
Sys.getenv("SPARK_HOME")
结果:
'/ opt / cloudera / parcels / CDH / lib / spark'
但是在R笔记本中,如果我想创建如下所示的spark上下文:
sc<-spark_connect(master='local')
我收到以下错误:
spark_version_from_home(spark_home,默认= spark_version)中的错误: 无法从SPARK_HOME或SPARK_HOME_VERSION中检测版本。尝试 明确传递Spark版本。追溯:
- spark_connect(master =“ local”)
- shell_connection(master = master,spark_home = spark_home,app_name = app_name,。version =版本,hadoop_version = hadoop_version,shell_args = shell_args,.config = config, 服务=否,扩展程序=扩展程序)
- start_shell(master = master,spark_home = spark_home,spark_version =版本,。app_name = app_name,config = config,jars = spark_config_value(config,。“ sparklyr.jars.default”, list()),软件包= spark_config_value(config,。
“ sparklyr.defaultPackages”),扩展名=扩展名。
环境=环境,shell_args = shell_args,服务=服务)- spark_version_from_home(spark_home,默认= spark_version)
- stop(“无法从SPARK_HOME或SPARK_HOME_VERSION中检测版本。”,。“尝试传递Spark版本 明确地”。)
我该如何解决?谢谢。我已经搜索了stackoverflow中现有的类似问题/答案,但都没有找到适合我的情况。
谢谢。