我有一个驱动程序,我在其中创建JavaSparkContext,然后使用newApiHadoopFile处理自定义的InputFormat。
如果我需要在CutomInput Format类中获取JavaSparKContext,我该如何实现它。
我的司机程序:
> JavaSparkContext sc= //create the JavaSparkContext here
>
> JavaPairRDD<NullWritable, ArrayList<Record>> baseRDD = sc.newAPIHadoopFile(args[2], InputFormat.class, NullWritable.class, ArrayList.class, conf);
自定义输入格式类:
> public class InputFormat extends FileInputFormat {
>
> @Override public RecordReader<NullWritable, ArrayList<Record>>
> createRecordReader(InputSplit split,TaskAttemptContext context) throws IOException,InterruptedException {
> final JavaSparkContext sc= //How to get the spark Context here