如何通过hadoop mapreduce作业访问windows / unix目录中的文本文件

Question

我想将日志文件从windows / unix环境复制到特定目录结构中的HDFS。我知道我可以在hadoop shell中执行copyFromLocal，但是可以使用Mapper来完成java代码。

Answer 1

如果您的意思是将本地文件（或目录）从本地计算机复制到HDFS，请输入以下代码：

    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(conf);
    Path localPath = new Path("your_local_path");
    Path remotePath = new Path("your_hdfs_path");
    fs.copyFromLocalFile(localPath, remotePath);