Spark 1.0.1安装错误

Question

我在我的spark 1.0.1安装[EMR]

上一直面临这个错误

Hadoop版本：2.2 Spark：1.0.1

错误

14/10/21 06:58:11 WARN util.NativeCodeLoader：java.library.path中没有hadoop java.lang.UnsatisfiedLinkError：java.library.path中没有hadoop

我试过这样，但它仍然失败......

./ spark-shell -Djava.library.path = / home / hadoop / share / hadoop / common

任何建议都非常感谢....

Answer 1

不要担心这个警告。你可以忽略它。如果您觉得与之不符，可以将java.library.path指向$HADOOP_HOME/lib/native。

Answer 2

我怀疑这个问题是由于早期的EMR构建。请尝试使用https://github.com/awslabs/emr-bootstrap-actions/tree/master/spark中描述的最新版本作为安装，版本自1.0.1以来已大大改进。