ElasticSearchJSON 输出到镶木地板文件

Question

我正在将 ElasticSearch 索引数据读取为 JSON 并希望将其保存为镶木地板。下面是代码： ''' JavaPairRDD esRDD = JavaEsSpark.esJsonRDD(jsc, "companydatabase/employees"); '''

我如何将 JavaPairRDD 转换为 Java 中的数据集。输出格式将类似于 C1 JSON1 JSON2

Answer 1

JavaPairRDD<String,String> esRDD = JavaEsSpark.esJsonRDD(jsc,esPath);
 Dataset<Row> df = spark.createDataset(esRDD.collect(), Encoders.tuple(Encoders.STRING(),Encoders.STRING())).toDF("key","value");
 df.write().mode("overwrite").save(ParquetPath);