无法使用Hadoop启动Oryx

时间:2014-08-22 09:18:54

标签: java hadoop hadoop2 snappy oryx

我正在尝试使用Hadoop 2.4运行Oryx。 Hadoop成功启动并发出警告:

WARN util.NativeCodeLoader:无法为您的平台加载native-hadoop库...使用适用的builtin-java类。

Oryx也成功启动。但是当我将数据摄入其中时,抛出以下异常:

2014-08-22 14:35:05,835 ERROR [IPC服务器处理程序3 on 37788] org.apache.hadoop.mapred.TaskAttemptListenerImpl:任务:attempt_1408697508855_0002_m_000000_0 - 退出:org.apache.hadoop.util.NativeCodeLoader .buildSupportsSnappy()z 2014-08-22 14:35:05,835 INFO [IPC服务器处理程序3 on 37788] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1408697508855_0002_m_000000_0的诊断报告:错误:org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z 2014-08-22 14:35:05,837 INFO [AsyncDispatcher事件处理程序] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl:来自attempt_1408697508855_0002_m_000000_0的诊断报告:错误:org.apache.hadoop.util.NativeCodeLoader .buildSupportsSnappy()z 2014-08-22 14:35:05,840 INFO [AsyncDispatcher事件处理程序] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl:attempt_1408697508855_0002_m_000000_0 TaskAttempt从RUNNING转换为FAIL_CONTAINER_CLEANUP

有没有人提前遇到过这样的问题?任何形式的帮助都会很明显!

1 个答案:

答案 0 :(得分:0)

我正在复制邮件列表中thread的一些项目:

  • 这可能是安装的Snappy库的问题,但似乎已经解决了
  • YARN容器因超出虚拟内存限制而被杀死。请参阅FAQ - 这可能是您可以通过更改YARN配置来解决的Java问题。
  • 最终问题似乎是YARN配置的另一个问题,虽然目前尚不清楚。我建议从新配置和/或预先配置并且已知可行的distribution开始,如果可能的话。