运行hadoop / mapReduce时出现ClassNotFoundException

Question

在我的MapReduce项目中，我使用apache-commons CSVParser逐行解析CSV文件并提取我感兴趣的字段。

我在Eclipse中使用Maven来导入依赖项，并使用eclipse将项目导出为jar文件.jar文件包含所有依赖项。我很好奇为什么hadoop仍然会抛出以下异常：

  

错误：java.lang.ClassNotFoundException：   org.apache.commons.csv.CSVParser

我在Windows机器上，还有其他更好的制作jar文件的方法吗？

Answer 1

首先，您可以将CSV jar放入类路径并编译mapreduce作业类。如果它正确编译而不是运行mapreduce作业，也可以在hadoop命令中添加此jar。