在Java中从S3读取文件镶木地板文件

Question

我是Java和Spark sql的新手。我想知道是否可以读取Java代码中S3中保存为JSON的Spark Parquet格式的文件吗？

Answer 1

val spark = SparkSession.builder()
      .master("local[1]")
      .getOrCreate()

spark.read().json("s3a://your/json/path.json")

spark.write().parquet("parquet/file/path.parquet")