Question

我想将Parquet文件转换为CSV格式。有没有办法相同，因为我只能找到CSV到Parquet文件，反之亦然。

Answer 1

当使用spark 2.1.0时，这对我有用。首先运行火花壳。类似的东西：

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlContext.parquetFile("parquet-file.parquet")
df.printSchema()
df.write.format("csv").save("directory")

然后：

directory

它将在foreach ($data as $object) { echo "items:". $object['number'] ."\n"; };

中创建csv文件

Answer 2

val df = spark.read.parquet("infile.parquet")

df.write.csv("outfile.csv")

“ infile.parquet”和“ outfile.csv”均应位于hdfs文件系统上。

Answer 3

    DataFrame df = sqlContext.parquetFile("parquet path");  


    df.javaRDD().saveAsTextFile("outputpath");

Answer 4

使用Spark和Python很简单：

for filename in glob.glob("[location_of_parquet_file]/*.snappy.parquet"):
        print filename
        df = sqlContext.read.parquet(filename)
        df.write.csv("[destination]")
        print "csv generated"

Answer 5

这对我来说很有用。

spark-shell --packages com.databricks:spark-csv_2.11:1.2.0
val df = sqlContext.parquetFile("/hdfs/source.parquet")
df.printSchema()
df.write.format("com.databricks.spark.csv").save("/hdfs/target_csv")

Answer 6

我看到的另一种简单方法是：

import pandas as pd
df = pd.read_parquet('myfile.parquet')
df.to_csv('myfile.csv')

Parquet文件到CSV转换

6 个答案: