Question

我目前正在为MapReduce运行Apache Ignite Hadoop加速器。作业运行，但我无法在JobHistoryServer中看到它们。我不希望在Yarn的资源经理那里看到工作（并且不要）。

我正在运行我的MapReduce作业 hadoop --config path/to/config/ jar path/to/jar ....

在mapred-site.xml中，我添加了

<property>
  <name>mapreduce.framework.name</name>
  <value>ignite</value>
</property>
<property>
  <name>mapreduce.jobtracker.address</name>
  <value>[your_host]:11211</value>
</property>

我的mapreduce.jobhistory。*设置尚未更改。

在core-site.xml中，我添加了

<property>
  <name>fs.default.name</name>
  <value>igfs://igfs@/</value>
</property>
<property>
  <name>fs.igfs.impl</name>
  <value>org.apache.ignite.hadoop.fs.v1.IgniteHadoopFileSystem</value>
</property>
<property>
  <name>fs.AbstractFileSystem.igfs.impl</name>
  <value>org.apache.ignite.hadoop.fs.v2.IgniteHadoopFileSystem</value>
</property>

我还在$ HADOOP_HOME路径中添加了ignite-core-1.6.0.jar，ignite-hadoop-1.6.0.jar和ignite-shmem-1.0.0.jar。同样，我已经导出了HADOOP_HOME，HADOOP_COMMON_HOME，HADOOP_HDFS_HOME和HADOOP_MAPRED_HOME。

Ignite不支持此功能，还是我做错了什么？

另外，有没有办法跟踪在Ignite上运行的MapReduce作业？

Answer 1

目前，Ignite无法以任何方式与Hadoop历史记录服务器集成，发出https://issues.apache.org/jira/browse/IGNITE-3766个请求。

Apache Ignite Hadoop Accelerator MapReduce作业不在JobHistory服务器中

1 个答案: