我有一个spark应用程序,可以基于配置使用minio或S3。我已经为这两个编写了测试用例。当它们分别运行时,火花能够拾取S3 / minio的配置。但是,当它们一个接一个地顺序运行时,spark似乎无法写入minio,而是写入s3。
我已经停止了每个测试的spark上下文。
val fsaPrefix = "fs.s3a"
if (useMinio) {
hadoopConf.set(s"$fsaPrefix.endpoint", s"http://${minioConfig.host}:${minioConfig.port}")
}
我尝试过的是设置以下配置,但它不起作用。
hadoop.cloneConf,true
如何发出火花以选择正确的配置?
火花版本:2.2.1
Hadoop:2.6