在我的环境中,我有2个不同版本的Spark(2.2.0和1.6.0)。我正在尝试从R连接到Spark 1.6.0,但无法与文档中给出的准则建立连接。
我正在使用:
spark_connect(
master = "yarn-client",
config = spark_config(), version = "1.6.0",
spark_home = '/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/spark')
但是我收到以下错误:
Error in force(code) :
Failed during initialize_connection: Failed to detect version from SPARK_HOME or SPARK_HOME_VERSION. Try passing the spark version explicitly.
Log: /tmp/RtmplCevTH/file1b51126856258_spark.log
我可以毫无问题地连接到Spark 2.2.0,也可以查询数据。
请注意我在做什么错。