在minio和S3之间切换时,spark hadoop配置未获取新配置

时间:2019-11-22 09:41:58

标签: apache-spark hadoop

我有一个spark应用程序,可以基于配置使用minio或S3。我已经为这两个编写了测试用例。当它们分别运行时,火花能够拾取S3 / minio的配置。但是,当它们一个接一个地顺序运行时,sp​​ark似乎无法写入minio,而是写入s3。

我已经停止了每个测试的spark上下文。

 val fsaPrefix = "fs.s3a" 
 if (useMinio) {
  hadoopConf.set(s"$fsaPrefix.endpoint", s"http://${minioConfig.host}:${minioConfig.port}")
 }

我尝试过的是设置以下配置,但它不起作用。     hadoop.cloneConf,true

如何发出火花以选择正确的配置?

火花版本:2.2.1  Hadoop:2.6

0 个答案:

没有答案