我正在尝试为Hadoop开发新的编解码器压缩。首先，我想知道是否有用于在Hadoop中实现新编解码器的教程。因此，我尝试通过更改最终扩展名来编辑几个默认编解码器，例如Snappy或Deflate，例如，我已将Deflate的扩展名更改为“ .dummy”。 但是，问题出在编译阶段，因为要在Hadoop中上载新的编解码器代码。为了正确上传代码，每次我要检查代码中的新编辑时都要进行新的重新编译。
如何加快这一过程？
我尝试使用以下命令执行编译：
mvn package -Pdist,native一次以代码进行编辑，
mvn compile -pl Hadoop-common-project
mvn install -pl Hadoop-common-project
但先前的测试结果最差的报道。
答案 0 :(得分：0)
我已经通过编译位于Hadoop-common-project / hadoop-common中的软件包来解决。在上一个文件夹中找到一个pom.xml文件。之后，我通过以下方式运行mvn编译：
mvn软件包-Pdist，本地-DskipTests
因此，我将位于 target 文件夹中的jar复制到$ HADOOP_HOME / share / hadoop / common。在mapred-site.xml文件中指定编解码器之后，可以使用前面的步骤在Hadoop中使用编解码器。