我想在我的spark工作中使用jep库。火花以yarn-cluster
模式运行。我正在使用cdh58。
我在运行时得到这个:
java.lang.UnsatisfiedLinkError: no jep in java.library.path
at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1867)
at java.lang.Runtime.loadLibrary0(Runtime.java:870)
at java.lang.System.loadLibrary(System.java:1122)
at jep.Jep.<clinit>(Jep.java:217)
我尝试将其传递到spark.driver.java-opts
和spark.executor.java-opts
,但它没有任何帮助。即使尝试在spark-env.sh
和hadoop-env.sh
文件中进行设置,它也无法正常工作。我尝试在mapreduce.map.env
和mapreduce.map.child.env
中设置它并重新启动CDH服务,但没有用。
任何指针都会非常有用。感谢。