我可以在map-reduce中编写自定义java方法吗？

Question

我可以在map-reduce中的JAVA中编写自己的自定义静态方法，我可能想要为进入我的映射器的每个键值对调用吗？

Answer 1

你可以做这样的事情而且我一直这样做。您调用的方法可以是静态的，也可以不是。

基本上：

如果您从自己编写的代码中调用外部代码，那么在将项目导出到.jar文件时，需要将代码与代码捆绑在一起。

如果要从项目的构建路径中包含的.jar文件引用方法等，则需要将.jar文件放在群集中运行作业的每个节点上，然后编辑您的HADOOP_CLASSPATH变量位于文件$ HADOOP_HOME / conf / hadoop-env.sh文件中的服务器上并重新启动您的群集。否则你会得到一个找不到类的错误。

一个例子是：

export HBASE_CLASSPATH=/path/to/one/file.jar:/path/to/another/file.jar

Answer 2

是的，你可以这样做。 （我必须输入其他字符，以便我可以提交此答案，所以请忽略这句话）