如何在使用yarn cluster运行时在执行程序中获取SparkContext

时间:2015-12-04 00:44:59

标签: java apache-spark mapreduce yarn rdd

我有一个驱动程序,我在其中创建JavaSparkContext,然后使用newApiHadoopFile处理自定义的InputFormat。

如果我需要在CutomInput Format类中获取JavaSparKContext,我该如何实现它。

我的司机程序:

> JavaSparkContext sc=  //create the JavaSparkContext here
> 
> JavaPairRDD<NullWritable, ArrayList<Record>> baseRDD = sc.newAPIHadoopFile(args[2], InputFormat.class, NullWritable.class, ArrayList.class, conf);

自定义输入格式类:

> public class InputFormat extends  FileInputFormat {
> 
>   @Override   public RecordReader<NullWritable, ArrayList<Record>> 
>   createRecordReader(InputSplit split,TaskAttemptContext context) throws IOException,InterruptedException { 
        > final JavaSparkContext sc=    //How to get the spark Context here

0 个答案:

没有答案