Question

我正在使用hadoop jar-tasklet：

<hdp:jar-tasklet id="testjob" jar="bhs_abhishek.jar">
</hdp:jar-tasklet>

这个jar当前需要一些classpath上的配置文件，我之前通过hadoop jar命令通过HADAOOP_CLASSPATH变量进行调用。但我找不到使用spring HADOOP_CLASSPATH设置xml的方法。请提供有关如何实现这一目标的任何建议或更好的方法。我可以在jar中进行更改。

Answer 1

您可以尝试将配置文件添加到xd / config目录中，该目录应位于类路径中。

还有一个xd / config / hadoop-site.xml文件，您可以在其中添加Hadoop配置属性。还有一个替代方法是修改xd / config / servers.yml并在spring:hadoop:config:下添加Hadoop配置属性，就像我们在此示例中为io.file.buffer.size所做的那样：

---
# Hadoop properties
spring:
  hadoop:
    fsUri: hdfs://hadoop.example.com:8020
    resourceManagerHost: hadoop.example.com
    resourceManagerPort: 8032
    jobHistoryAddress: hadoop.example.com:10020
    config:
      io.file.buffer.size: 4096

---

使用Spring jar-tasklet时设置HADOOP_CLASSPATH

1 个答案: