将参数从文件传递到多个Spark作业

时间:2018-08-30 11:35:24

标签: apache-spark spark-submit

是否有一个主文件存储的参数列表比 import { isPlatformBrowser, isPlatformServer } from '@angular/common'; import { PLATFORM_ID, Inject } from '@angular/core'; export class Component { constructor(@Inject(PLATFORM_ID) private platformId: Object) { this.PutJquery() } PutJquery() { if (isPlatformBrowser(this.platformId)) { var authData = $.cookie('data'); } } } 命令所引用的参数多?

属性文件configuration.txt的示例(不必是.txt): spark-submit

预期要求:

称之为一次火花提交:


school_library = "central"
school_canteen = "Nothernwall"

在另一个spark-submit中调用它:

spark-submit --master yarn \
--deploy-mode cluster \
--jars sample.jar \
/home/user/helloworld.py  configurations.school_library

在另一个spark-submit中调用两者:

spark-submit --master yarn \
--deploy-mode cluster \
--jars sample.jar \
/home/user/helloworld.py  configurations.school_canteen

2 个答案:

答案 0 :(得分:0)

是的。

您可以通过conf --files

完成

例如,您正在使用配置文件/data/config.conf提交Spark作业:

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster 
  --executor-memory 20G \
  --num-executors 50 \
  --files /data/config.conf \
  /path/to/examples.jar

此文件将被上传并放置在驱动程序的工作目录中。因此,您必须按其名称进行访问。

例如:

new FileInputStream("config.conf")

答案 1 :(得分:0)

可以使用火花提交参数“ --properties-file”。 属性名称必须以“ spark”开头。前缀,例如:

spark.mykey=myvalue

在这种情况下,值是从配置(SparkConf)中提取的