Question

我想在我的spark工作中使用jep库。火花以yarn-cluster模式运行。我正在使用cdh58。

我在运行时得到这个：

java.lang.UnsatisfiedLinkError: no jep in java.library.path
    at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1867)
    at java.lang.Runtime.loadLibrary0(Runtime.java:870)
    at java.lang.System.loadLibrary(System.java:1122)
    at jep.Jep.<clinit>(Jep.java:217)

我尝试将其传递到spark.driver.java-opts和spark.executor.java-opts，但它没有任何帮助。即使尝试在spark-env.sh和hadoop-env.sh文件中进行设置，它也无法正常工作。我尝试在mapreduce.map.env和mapreduce.map.child.env中设置它并重新启动CDH服务，但没有用。

任何指针都会非常有用。感谢。

如何在cloudera火花纱簇模式

0 个答案: