我想使用Hadoop Filesystem Java API将数据写入S3文件
我尝试了以下代码，但无法正常工作。有人可以帮我解决这个问题
val config = new Configuration()
config.set("fs.s3a.impl", classOf[org.apache.hadoop.fs.s3a.S3AFileSystem].getName)
config.set("fs.s3a.endpoint", "s3://qa-us-east-1/")
val uri = new URI(output)
val fs: FileSystem = FileSystem.get(uri, config)
val path = new Path("/output/path/"+cycle)
val out = fs.create(path)
val writer = new BufferedWriter(new OutputStreamWriter(out))
val header = writeHeaderAndTrailerUdf.generateHeaderDF(spark)
writer.write(header+"\n")
上面的代码适用于本地文件系统和HDFS，但我无法在S3上使用它。我按照下面链接中的说明进行操作
https://hadoop.apache.org/docs/current/hadoop-aws/tools/hadoop-aws/index.html