如何在Java中使用Spark的.newAPIHadoopFile（）

Question

我正在尝试在spark工作中阅读na lzo文件 我的火花版本是1.6.0（spark-core_2.10-1.6.0-cdh5.7.1）。

这是我的java代码：

JavaSparkContext sc = new JavaSparkContext(new SparkConf().setAppName("ReadLzo"));
JavaPairRDD <NullWritable, Text> lines = sc.newAPIHadoopFile(args[0],LzoTextInputFormat.class,NullWritable.class,Text.class,new Configuration());

但是我得到了一个编译时异常：

  

方法newAPIHadoopFile（String，Class，Class，Class，   JavaSparkContext类型中的配置）不适用于   arguments（String，Class，Class，   类，配置）

那么在Java中使用JavaSparkContext.newAPIHadoopFile()的正确方法是什么？

Answer 1

无保证，但LzoTextInputFormat延伸TextInputFormat，其密钥为LongWritable且值为Text。

确保您的import语句也是正确的类型。特别是Text