Question

我的项目与Spring Hadoop集成在一起。 jar文件被调用为 hadoop jar -DsomeKey = Somevalue

现在，我如何从我的工作中访问这个通用密钥（someKey）和值（Somevalue）。

我在我的XML文件中设置了以下内容。但我仍然没有看到传递给jobs配置的通用选项。

我需要明确设置什么吗？

Answer 1

我认为您正在使用Spring for Apache Hadoop工具tasklet。如果是这种情况，则将args作为arg元素传递。下面是使用Mahout作业的示例（我的hdp:configuration被遗漏了，因为这是从Spring XD运行的）：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns:hdp="http://www.springframework.org/schema/hadoop"
    xsi:schemaLocation="http://www.springframework.org/schema/beans
                    http://www.springframework.org/schema/beans/spring-beans.xsd
                    http://www.springframework.org/schema/hadoop
                    http://www.springframework.org/schema/hadoop/spring-hadoop.xsd
                    http://www.springframework.org/schema/batch
                    http://www.springframework.org/schema/batch/spring-batch.xsd">

    <hdp:tool-tasklet id="mahout-tasklet" jar="somepath/job/recommender/lib/mahout-core-0.9.jar"
                     tool-class="org.apache.mahout.cf.taste.hadoop.similarity.item.ItemSimilarityJob">
        <hdp:arg value="-i/xd/hdfsImport"/>
        <hdp:arg value="-o/xd/hdfsImport/postsResults"/>
        <hdp:arg value="-sSIMILARITY_COOCCURRENCE"/>
        <hdp:arg value="-booleanData=false"/>
    </hdp:tool-tasklet>

    <job id="job" xmlns="http://www.springframework.org/schema/batch">
        <step id="step1">
            <tasklet ref="mahout-tasklet"/>
        </step>
    </job>
</beans>

Spring Hadoop：阅读通用选项

1 个答案: