Question

我有一个简单的spark应用程序，我试图在YARN Cluster上广播一个String类型变量。但每次我尝试访问广播ed变量值时，我在Task中都变为null。如果你们可以建议我在这里做错了，那将是非常有帮助的。我的代码如下： -

public class TestApp implements Serializable { 
  static Broadcast<String[]> mongoConnectionString; 

  public static void main( String[] args ) { 
    String mongoBaseURL = args[0]; 
    SparkConf sparkConf =  new SparkConf().setAppName(Constants.appName); 
    JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf); 

    mongoConnectionString = javaSparkContext.broadcast(args); 

    JavaSQLContext javaSQLContext = new JavaSQLContext(javaSparkContext); 

    JavaSchemaRDD javaSchemaRDD = javaSQLContext.jsonFile(hdfsBaseURL+Constants.hdfsInputDirectoryPath); 

    if(javaSchemaRDD!=null) { 
      javaSchemaRDD.registerTempTable("LogAction"); 
      javaSchemaRDD.cache(); 
      pageSchemaRDD = javaSQLContext.sql(SqlConstants.getLogActionPage); 
      pageSchemaRDD.foreach(new Test());     
    } 
  } 

  private static class Test implements VoidFunction<Row> { 
    private static final long serialVersionUID = 1L; 

    public void call(Row t) throws Exception { 
      logger.info("mongoConnectionString "+mongoConnectionString.value()); 
    } 
  } 
}

Answer 1

这是因为您的广播变量属于班级。因为当在工作节点中初始化类时，它将看不到您在main方法中指定的值。它只会看到一个null，因为广播变量没有初始化为任何东西。我发现的解决方案是在调用方法时将广播变量传递给方法。累加器也是如此

Apache SPARK：广播变量的-Nullpointer异常（YARN群集模式）

1 个答案: