从当前的livy会话访问数据文件

Question

我在YARN模式下在Hadoop上运行Spark Cluster。我已配置Livy服务器进行交互并将客户端spark作业提交给spark集群。 我将一个数据文件和jar程序一起从java程序上传到Livy，后者上传到HDFS的.livySessions文件夹中。

LivyClient client = new LivyClientBuilder(true).setURI(new URI("http://191.111.123.11:8998")).build();
client.uploadFile(new File("/C:/HAL/kmeans_data.txt")).get();
Object str = client.uploadJar(new File("/C:/Users/msingh/livy-spring-app-1.3.6.RELEASE.jar")).get();

如何配置程序以从当前的Livy会话中读取数据文件以供执行。

Answer 1

您可以使用SparkFiles.get（），它将从您的spark作业中获取这些文件。试着让我知道。