如何使用apahe-ignite-hadoop加速器?

时间:2019-07-02 09:46:51

标签: hadoop bigdata ignite

我已经安装了Hadoop独立mdoe。 Hadoop 2.7.2 我还安装了apache-ignite。 apache-ignite-hadoop-1.6.0 尝试执行单词计数示例。

要进行设置,请运行$ IGNITE_HOME中HADOOP_README.txt中指定的./bin/setup-hadoop.sh。

步骤are1。适用于Apache Hadoop的Apache Ignite内存加速器

适用于Apache的Ignite内存加速器Hadoop旨在为现有的Apache提供卓越的性能 零代码更改的Hadoop 2.2或更高版本应用程序,以及跨所有应用程序的安装和配置简便性 支持的平台。

2。安装

Ignite分发位于一个ZIP文件中,只需将其解压缩即可。加速器需要Apache Hadoop的 版本2.2或更高版本已使用Apache Bigtop软件包或手动安装在系统上(手动安装 仅表示必须将Apache Hadoop二进制发行版解压缩到系统中的某个位置)。如果是手动 安装HADOOP_HOME环境变量必须指向Apache Hadoop的安装目录。

  

注意:您不需要启动任何Apache Hadoop进程,只需要部署Apache Hadoop。   在您的系统上分发。不过,您可以通过HDFS使用Ignite Accelerator运行Apache Hadoop作业,   在这种情况下,将需要运行HDFS基础架构。

Accelerator随附了命令行设置工具bin/setup-hadoop.sh(在Windows上为bin/setup-hadoop.bat), 将指导您完成所有必需的设置步骤(请注意,设置工具将需要对 Apache Hadoop安装目录。

安装要求:

  1. Windows,Linux或MacOS环境。
  2. Java 7或8(建议最新更新)。
  3. JAVA_HOME环境变量指向您的JDK或JRE安装。
  4. 已安装Apache Hadoop 2.2或更高版本。
  5. HADOOP_HOME环境变量指向Apache Hadoop的安装目录。
  6. 运行bin/setup-hadoop.{sh|bat}安装脚本并按照说明进行操作。
  

注意:在Windows平台上,Apache Hadoop客户端要求JAVA_HOME路径不包含空格字符。   安装到C:\\Program Files\的Java无法正常工作,请安装JRE正确的位置并将JAVA_HOME指向该位置。

     

2.1检查Apache Ignite安装

安装脚本成功完成后,您可以执行Ignite启动脚本。 以下命令将使用多播节点发现功能以默认配置启动Ignite节点。

bin/ignite.{sh|bat}

如果成功安装了Ignite,则上述命令的输出应不会产生任何异常或错误。 请注意,您可能会在启动过程中看到一些其他警告,但这是可以的,因为它们旨在通知某些 功能默认情况下处于打开或关闭状态。

您可以在同一台计算机上多次执行上述命令,并确保节点能够相互发现。 这是两个节点加入拓扑时日志打印输出的示例:

... Topology snapshot [nodes=2, CPUs=8, hash=0xD551B245]

您还可以启动称为Visor的Ignite管理控制台,并观察已启动的节点。要启动Visor,您应该执行以下脚本:

/bin/ignitevisorcmd.{sh|bat}

3。配置

要配置Ignite节点,可以在Ignite安装的config目录中更改配置文件。这些是常规的Spring文件。请参阅附带的配置文件和Ignite javadocs以获得更多详细信息。

3.1分布式文件系统配置

enter code here
     

Ignite拥有自己的分布式内存文件系统,称为IgniteFS。   Hadoop作业可以使用它而不是HDFS来实现最高性能   和可扩展性。设置IGFS比HDFS简单得多,它   只需对Ignite节点配置进行一些调整,而无需   需要启动任何其他过程。默认配置   Accelerator随附的包含一个配置的实例,名称为   “ ignitefs”,可以用作参考。

     

通常IgniteFS的URI将由Apache Hadoop外观使用   喜欢:

igfs://igfs_name@host_name
     

其中igfs_name是IgniteFS实例名称,host_name是任何主机   配置了该IgniteFS实例的运行Ignite节点。欲了解更多   详细信息,请参阅IgniteFS文档。

     

3.2 Apache Hadoop客户端配置

     

要与Ignite集群一起运行Apache Hadoop作业,您需要配置   core-site.xml的{​​{1}}和mapred-site.xml   目录的方式与在随附的模板中完成的方式相同   加速器。设置工具$HADOOP_HOME/etc/hadoop会询问您   用Ignite模板替换这些文件,或者您可以找到这些   bin/setup-hadoop.{sh|bat}和   分别config/hadoop/core-site.ignite.xml并执行   手动进行所需的配置。

     

Apache Hadoop客户端将需要在类路径中具有Ignite jar文件,   设置工具也将解决这个问题。

     

4。使用Ignite内存内加速器运行Apache Hadoop作业

     

要在Ignite群集上运行Apache Hadoop作业,您必须启动一个或   多个Ignite节点,并确保它们成功发现了每个   其他完成所有配置并且Ignite节点完成后   开始时,运行Apache Hadoop作业将与   传统的Apache Hadoop发行版,但所有Ignite节点除外   相等,它们中的任何一个都可以视为作业跟踪器和DFS名称   节点。

     

要运行“字数统计”示例,您可以使用以下命令将一些文本文件加载到IGFS中   标准的Apache Hadoop工具:

config/hadoop/mapred-site.ignite.xml
     

运行作业:

     

./ hadoop jar   $ HADOOP_HOME / share / hadoop / mapreduce / -mapreduce-examples- .jar   字数统计/输入/输出

     

在这一步上我遇到了错误.....................

     

19/07/02 14:56:14 WARN util.NativeCodeLoader:无法加载   适用于您平台的native-hadoop库...使用内建的Java类   适用时2019年7月2日下午2:56:14   org.apache.ignite.internal.client.impl.connection.GridClientNioTcpConnection    信息:客户端TCP连接已建立:   本地主机/127.0.0.1:11211 2019年7月2日下午2:56:14   org.apache.ignite.internal.client.impl.GridClientImpl信息:   客户端启动了[id = 3210127b-b068-4337-b8c2-a804dfc72051,协议= TCP]   19/07/02 14:56:26 INFO input.FileInputFormat:到的总输入路径   进程:1 19/07/02 14:56:26 INFO mapreduce.JobSubmitter:数量   splits:1 19/07/02 14:56:26 INFO mapreduce.JobSubmitter:提交   工作令牌:job_5455aeb2-b36a-4535-bbf8-c493aed2c1a7_0002 19/07/02   14:56:26 INFO mapreduce.Job:跟踪工作的网址:N / A 19/07/02   14:56:26 INFO mapreduce。工作:正在运行的工作:   job_5455aeb2-b36a-4535-bbf8-c493aed2c1a7_0002 java.io.IOException:作业   跟踪器没有任何有关

的信息

工作:job_5455aeb2-b36a-4535-bbf8-c493aed2c1a7_0002     在org.apache.ignite.internal.processors.hadoop.proto.HadoopClientProtocol.getJobStatus(HadoopClientProtocol.java:186)     在org.apache.hadoop.mapreduce.Job $ 1.run(Job.java:323)     在org.apache.hadoop.mapreduce.Job $ 1.run(Job.java:320)     在java.security.AccessController.doPrivileged(本机方法)     在javax.security.auth.Subject.doAs(Subject.java:422)     在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)     在org.apache.hadoop.mapreduce.Job.updateStatus(Job.java:320)     在org.apache.hadoop.mapreduce.Job.isComplete(Job.java:604)     在org.apache.hadoop.mapreduce.Job.monitorAndPrintJob(Job.java:1349)     在org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1311)     在org.apache.hadoop.examples.WordCount.main(WordCount.java:87)     在sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)处     在sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)     在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)     在java.lang.reflect.Method.invoke(Method.java:498)     在org.apache.hadoop.util.ProgramDriver $ ProgramDescription.invoke(ProgramDriver.java:71)     在org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:144)     在org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:74)     在sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)处     在sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)     在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)     在java.lang.reflect.Method.invoke(Method.java:498)     在org.apache.hadoop.util.RunJar.run(RunJar.java:221)     在org.apache.hadoop.util.RunJar.main(RunJar.java:136)

Wordcout示例程序必须在hadoop的apacheignite的帮助下运行,任何人都可以帮助我们如何配置或尝试帮助我在哪里出错以及如何解决该错误。

0 个答案:

没有答案