无法从R Shell连接到Spark 1.6.0

时间:2019-02-19 04:40:35

标签: r apache-spark cloudera-cdh sparklyr

在我的环境中,我有2个不同版本的Spark(2.2.0和1.6.0)。我正在尝试从R连接到Spark 1.6.0,但无法与文档中给出的准则建立连接。

我正在使用:

spark_connect(
   master = "yarn-client",  
   config = spark_config(), version = "1.6.0", 
   spark_home = '/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/spark')

但是我收到以下错误:

Error in force(code) :
  Failed during initialize_connection: Failed to detect version from SPARK_HOME or SPARK_HOME_VERSION. Try passing the spark version explicitly.
Log: /tmp/RtmplCevTH/file1b51126856258_spark.log

我可以毫无问题地连接到Spark 2.2.0,也可以查询数据。

请注意我在做什么错。

0 个答案:

没有答案