Question

您好我正在尝试运行一个经常因StackoverflowError而失败的长火花。该作业读取一个镶木地板文件并在foreach循环中创建一个rdd。在做了一些研究后，我想为每个rdd创建一个检查点可以帮助我解决我的记忆问题。（我尝试了不同的内存，开销内存，并行性，重新分区，并找到了最适合工作的设置，但有时它仍会失败，具体取决于我们集群的负载。）

现在我真正的问题。我正在尝试创建检查点，首先阅读镶木地板创建RDD，然后缓存它，运行检查点功能，然后首先调用操作以使检查点发生。在我指定的路径中没有创建检查点，YARN UI表示跳过该阶段。任何人都可以帮助我理解这个问题：）

  ctx.getSparkContext().setCheckpointDir("/tmp/checkpoints");
    public static void writeHhidToCouchbase(DataFrameContext ctx, List<String> filePathsStrings)  {
    filePathsStrings
        .forEach(filePath -> {
          JavaPairRDD<String, String> rdd =
              UidHhidPerDay.getParquetFromPath(ctx, filePath);
          rdd.cache();
          rdd.checkpoint();
          rdd.first();
          rdd.foreachPartition(p -> {
            CrumbsClient client = getClient();
            p.forEachRemaining(uids -> {
              Crumbs crumbs = client.getAsync(uids._1)
                  .timeout(10, TimeUnit.SECONDS)
                  .toBlocking()
                  .first();
              String hHid = uids._2;
              if (hHid != null) {
                crumbs.getOrCreateSingletonCrumb(HouseholdCrumb.class).setHouseholdId(hHid);
                client.putSync(crumbs);
              }
            });
            client.shutdown();
          });
        });
}

检查点在第一次迭代中创建一次，但从不再创建。 KR

Answer 1

我的错误是实际创建了分区。＆＃34;第一＆＃34;我上面提到的分区是一个内部分区的目录。由于目录名称如8f987639-d5c8-46b8-a1e0-37081f9f8e00，我感到困惑。然而，查看@ImDarrenG的血统评论给了我更多的见解。我从第一个缓存和检查点创建了一个新的重新分区RDD。这使得应用程序更加稳定，没有失败。

JavaPairRDD<String, String> rdd =
          UidHhidPerDay.getParquetFromPath(ctx, filePath);
      rdd.cache();
      rdd.checkpoint();
      rdd.first();
      JavaPairRDD<String, String> rddToCompute = rdd.repartition(72);
      rddToCompute.foreachPartition...

在spark工作中跳过了rdd.checkpoint

1 个答案: