Question

我使用Eclipse开发我的spark应用程序，从命令行运行时，我使用如下命令：

spark-submit  --master yarn-client --driver-memory 4g --properties-file  myAPP.conf ..

我也可以直接从eclipse IDE运行我的主类，但是任何人都可以建议，如何直接从IDE运行时给出--properties-file选项。

由于阿洛克

Answer 1

将配置文件添加到项目中并添加这些行

  val configuration = new Configuration()
  val conffile = getClass().getResourceAsStream("filepath");
  configuration.addResource(conffile)

Answer 2

将属性添加到属性文件中，并将该文件名作为命令行参数传递。

在Scala / Java程序中使用文件名，并将属性添加到SparkConf。示例scala片段如下所示

import java.io.FileInputStream
import java.util.Properties
import org.apache.spark.SparkConf
import scala.collection.JavaConverters

....

val properties: Properties = new Properties()
properties.load(new FileInputStream("spark.properties"))

val map = JavaConverters.propertiesAsScalaMapConverter(properties).asScala;

val sparkConf = new SparkConf().setAppName("SampleJob").setAll(map)

所有属性名称和值都应采用属性格式，即--driver-memory转换为spark.driver.memory。

Spark：如何提供＆＃34; - properties-file＆＃34; Eclipse IDE开发中的选项

2 个答案: