如何在cloudera火花纱簇模式

时间:2018-02-05 08:19:28

标签: scala apache-spark sbt yarn cloudera

我想在我的spark工作中使用jep库。火花以yarn-cluster模式运行。我正在使用cdh58。

我在运行时得到这个:

java.lang.UnsatisfiedLinkError: no jep in java.library.path
    at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1867)
    at java.lang.Runtime.loadLibrary0(Runtime.java:870)
    at java.lang.System.loadLibrary(System.java:1122)
    at jep.Jep.<clinit>(Jep.java:217)

我尝试将其传递到spark.driver.java-optsspark.executor.java-opts,但它没有任何帮助。即使尝试在spark-env.shhadoop-env.sh文件中进行设置,它也无法正常工作。我尝试在mapreduce.map.envmapreduce.map.child.env中设置它并重新启动CDH服务,但没有用。

任何指针都会非常有用。感谢。

0 个答案:

没有答案