将参数从驱动程序传递到spark

时间:2016-09-22 08:16:40

标签: apache-spark spark-streaming spark-dataframe apache-spark-2.0

我正在使用spark 2.0.0。 有没有办法将参数从spark驱动程序传递给执行程序?我尝试了以下内容。

class SparkDriver {
     public static void main(String argv[]){
           SparkConf conf = new SparkConf().setAppName("test").setMaster("yarn");
           SparkSession sparkSession = SparkSession.builder().config(conf).getOrCreate(); 
           Dataset<Row> input = sparkSession.read().load("inputfilepath");
           Dataset<Row> modifiedinput = input.mapPartitions(new customMapPartition(5),Encoders.bean(Row.class));
     }

  class customMapPartition implements MapPartitionsFunction{
          private static final long serialVersionUID = -6513655566985939627L;
          private static Integer variableThatHastobePassed = null;

        public customMapPartition(Integer passedInteger){
             customMapPartition.variableThatHastobePassed= passedInteger;
         }
         @Override
          public Iterator<Row> call(Iterator<Row> input) throws Exception {
              System.out.println("number that is passed " + variableThatHastobePassed);
          }
   }

如上所述,我编写了一个自定义mappartition函数来传递参数。并在分区函数的调用方法中访问静态变量。当我在本地与&#34; setmaster(&#34; local&#34;)一起跑步时,这种方法很有效。但是在使用.setmaster(&#34; yarn&#34;)的群集上运行时无效。 (在system.out.println语句中打印null)

有没有办法将参数从驱动程序传递给执行程序。

1 个答案:

答案 0 :(得分:0)

我的坏我正在使用 private static Integer variableThatHastobePassed = null;

不应将变量声明为静态。