Spark提交适用于1个执行程序和1个驱动程序,但失败了多个执行程序

时间:2016-11-30 18:43:52

标签: java apache-spark weka emr porter-stemmer

我在纱线群集模式下运行一个应用程序。 我的应用程序在map操作中执行以下操作。

  1. 将weka模型从S3加载到java对象
  2. 使用加载的weka模型对象预测记录
  3. 问题是这与1个执行程序运行良好,而不是多个执行程序。

    这是我得到的错误

      

    Stemmer'搬运工'未知!   显示java.lang.NullPointerException       at weka.core.stemmers.SnowballStemmer.stem(SnowballStemmer.java:408)       at cat.weka.filters.unsupervised.attribute.SmtStringToWordVector.convertInstancewoDocNorm(TestStringToWordVector.java:1768)       at cat.weka.filters.unsupervised.attribute.SmtStringToWordVector.input(TestSmtStringToWordVector.java:776)       at cat.engine.prediction.WekaMLPredictor.convertStringToWordVector(WekaMLPredictor.java:203)

    这是我在地图操作中使用的scala代码

    def applyMLModel(row: Row) {
    val wekamodel = getmodel(id)
    var result = wekamodel.predict(attr)
    }
    

0 个答案:

没有答案