使用NewHadoopRDD时如何提供文件名？

Question

我正在尝试在Spark中使用 newAPIHadoopRDD 函数，但我发现构造函数中没有带有文件名的参数。那么，在这种情况下如何设置文件名？

Answer 1

这是使用org.apache.hadoop.conf.Configuration配置的，详细信息取决于您使用的InputFormat。例如TextInputFormat使用mapred.input.dir。

一般情况下，如果您想使用基于文件的源newAPIHadoopFile。