CaffeOnSpark / Scala - 错误yarn.ApplicationMaster：用户类抛出异常：java.lang.NullPointerException

Question

当我使用带有以太网连接的2个Spark执行器的CaffeOnSpark培训DNN网络时，我收到了错误消息。我以https://github.com/yahoo/CaffeOnSpark/wiki/GetStarted_yarn

为例说明了这项工作

export SPARK_WORKER_INSTANCES=2 
export DEVICES=1
hadoop fs -rm -f hdfs:///mnist.model
hadoop fs -rm -r -f hdfs:///mnist_features_result
spark-submit --master yarn --deploy-mode cluster \
    --num-executors 2 \
    --files ${CAFFE_ON_SPARK}/data/lenet_memory_solver.prototxt,${CAFFE_ON_SPARK}/data/lenet_memory_train_test.prototxt \
    --conf spark.driver.extraLibraryPath="${LD_LIBRARY_PATH}" \
    --conf spark.executorEnv.LD_LIBRARY_PATH="${LD_LIBRARY_PATH}" \
    --class com.yahoo.ml.caffe.CaffeOnSpark  \
    ${CAFFE_ON_SPARK}/caffe-grid/target/caffe-grid-0.1-SNAPSHOT-jar-with-dependencies.jar \
        -train \
        -features accuracy,loss -label label \
        -conf lenet_memory_solver.prototxt \
        -devices 1 \
    -connection ethernet \
        -model hdfs:///mnist.model \
        -output hdfs:///mnist_features_result

这是我遇到的错误。

当我看到datanode的日志时，错误如下所示。 Log of datanode

非常感谢你的回答。