试图从Java

Question

在Java中，您可以执行以下操作：

sc.setConf('spark.sql.parquet.binaryAsString','true')

R中的等价物是什么？我已经查看了sc对象可用的方法，但找不到任何明显的方法

由于

Answer 1

您可以在SparkContext初始化期间设置环境变量。 sparkR.init有许多可选参数，包括：

• sparkEnvir - 要在工作节点上设置的环境变量列表。
• sparkExecutorEnv - 启动执行程序时要使用的环境变量列表

在你的情况下，这样的事情可以解决问题：

sparkEnvir <- list('spark.sql.parquet.binaryAsString'='true')
sc <- sparkR.init(master, app_name, sparkEnvir=sparkEnvir)

Answer 2

我找到了问题的解决方案。

我们可以做到以下几点：

sql(sqlContext,'SET spark.sql.parquet.binaryAsString=true')

这可以解决所有问题。