用列名写一个csv并读取一个从Pyspark中的sparksql数据帧生成的csv文件

时间:2016-07-27 11:15:27

标签: apache-spark pyspark pyspark-sql

我用databrick csv包启动了shell

#../spark-1.6.1-bin-hadoop2.6/bin/pyspark --packages com.databricks:spark-csv_2.11:1.3.0

然后我读了一个csv文件做了一些groupby操作并将其转储到csv。

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true').load(path.csv')   ####it has columns and df.columns works fine
type(df)   #<class 'pyspark.sql.dataframe.DataFrame'>
#now trying to dump a csv
df.write.format('com.databricks.spark.csv').save('path+my.csv')
#it creates a directory my.csv with 2 partitions
### To create single file i followed below line of code
#df.rdd.map(lambda x: ",".join(map(str, x))).coalesce(1).saveAsTextFile("path+file_satya.csv") ## this creates one partition in directory of csv name
#but in both cases no columns information(How to add column names to that csv file???)
# again i am trying to read that csv by
df_new = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("the file i just created.csv")
#i am not getting any columns in that..1st row becomes column names

请不要像在read_csv之后或在阅读提及列名时向数据框添加架构一样回答。

问题1-在给csv转储时,有什么办法可以用???添加列名

问题2 - 有没有办法创建单个csv文件(不再是目录),可以由ms office或notepad ++ ???

打开

注意:我目前没有使用群集,因为它对像我这样的火花初学者来说太复杂了。如果任何人可以提供如何在集群环境中处理to_csv到单个文件的链接,那将是一个很大的帮助。

5 个答案:

答案 0 :(得分:15)

尝试

df.coalesce(1).write.format('com.databricks.spark.csv').save('path+my.csv',header = 'true')

请注意,这可能不是您当前设置的问题,但在极大的数据集上,您可能会遇到驱动程序的内存问题。这也需要更长的时间(在集群场景中),因为所有内容都必须推回到一个位置。

答案 1 :(得分:14)

以防万一, 在spark 2.1上,您可以使用以下行创建单个csv文件

dataframe.coalesce(1) //So just a single part- file will be created
.write.mode(SaveMode.Overwrite)
.option("mapreduce.fileoutputcommitter.marksuccessfuljobs","false") //Avoid creating of crc files
.option("header","true") //Write the header
.csv("csvFullPath")

答案 2 :(得分:8)

使用spark&gt; = 2.o,我们可以执行类似

的操作
df = spark.read.csv('path+filename.csv', sep = 'ifany', header=True )
df.write.csv('path_filename of csv',header=True) ###yes still in partitions
df.toPandas().to_csv('path_filename of csv',index=False)  ###single csv(Pandas Style)

答案 3 :(得分:1)

以下应该可以解决问题:

df \
  .write \
  .mode('overwrite') \
  .option('header', 'true') \
  .csv('output.csv')

或者,如果您希望结果位于单个分区中,则可以使用coalesce(1)

df \
  .coalesce(1) \
  .write \
  .mode('overwrite') \
  .option('header', 'true') \
  .csv('output.csv')

但是请注意,这是一项昂贵的操作,对于非常大的数据集可能不可行。

答案 4 :(得分:0)

获得第一个问题的答案,这是一个传递一个额外参数标题=&#39; true&#39;以及csv声明

df.write.format('com.databricks.spark.csv').save('path+my.csv',header = 'true')

#替代第二个问题

使用topandas.to_csv,但我不想在这里使用大熊猫,所以请建议是否还有其他方法。