Spark：将资源文件路径发送到spark执行器

Question

我需要将资源文件路径的位置从驱动程序传递给执行程序。 为实现这一点，我试图设置executor enviornmnet变量。 代码如下：

git push

有关如何解决此问题或我在此缺少什么的任何建议？

Answer 1

在spark中，你可以直接在被调用的动作的闭包中使用任何变量。

String my_path="path";
rdd.map(new Function<Tuple2<ImmutableBytesWritable,Result>, String>() {
      @Override
      public String call(Tuple2<ImmutableBytesWritable, Result> immutableBytesWritableResultTuple2) throws Exception {
            return my_path;
       }
   });

建议：如果您在本地进行测试，请检查是否已创建执行程序进程，或者是否在与驱动程序相同的JVM内运行执行程序。因为环境变量仅在启动执行程序时设置。