使用java代码在hadoop中读取csv文件格式

Question

如何在eclipse IDE中使用Java代码在Hadoop中读取CSV文件格式？

我有非常大的CSV格式的文件，我想访问HDFS中的CSV文件，以执行map reduce程序。亲切的帮助我解决问题。

我希望Java代码能够访问该文件。

提前感谢。

Answer 1

您可以将文件作为输入传递给映射器。文件的行将成为映射器的值。

class FileMapper extends Mapper<LongWritable, Text> {
    @Override
    public void map(LongWritable key, Text value, Context context) {
    // process your CSV records here.
    }
}

Answer 2

创建您自己的CSVInputFormat CSVInputFormat