使用Apache Ignite Hadoop加速器提交Hadoop作业

Question

免责声明：我是Hadoop和Apache Ignite的新手。很抱歉提供了冗长的背景信息。

设置： 我已经安装并配置了Apache Ignite Hadoop Accelerator。 Start-All.sh会启动以下服务。我可以提交Hadoop工作。他们完成了，我可以看到预期的结果。开始时全部使用传统的核心站点，hdfs站点，mapred站点和yarn站点配置文件。

.

我还安装了Apache Ignite 2.6.0。我能够启动点火节点，并使用Web控制台连接到它。我能够从MySQL加载缓存，并针对该缓存运行SQL查询和Java程序。

为使用点燃的Hadoop运行Hadoop作业，我创建了一个单独的ignite-config目录，其中已按照Apache ignite网站中的说明自定义了核心站点和映射站点配置。

问题： 当我使用以下命令运行Hadoop作业时：

28336 NodeManager
28035 ResourceManager
27780 SecondaryNameNode
27429 NameNode
28552 Jps
27547 DataNode

我收到以下错误（请注意，同一作业已成功针对Hadoop运行/未点燃）：

java.io.IOException：无法获取新的作业ID。

... ...

由于：类org.apache.ignite.internal.client.GridClientDisconnectedException：最新的拓扑更新失败。 ... ...

由以下原因引起：类org.apache.ignite.internal.client.GridServerUnreachableException：无法连接到列表中的任何服务器：[/：13500]

... ...

看起来，试图查找jobtracker（13500），但找不到。从上面的服务列表中，很明显作业跟踪器没有运行。但是，在YARN上未点燃的Hadoop上，该工作进行得很好。

可以帮忙吗？

Answer 1

在我看来，这已解决。 这里的作业跟踪程序意味着Apache Ignite内存缓存服务在端口11211上进行侦听。 在mapred-site.xml中进行此更改后，作业就运行了！