如何在pyspark sql中保存表？

Question

我想将生成的表保存到csv，textfile中，或者类似于能够使用RStudio执行可视化。

我正在使用pyspark.sql在hadoop设置中执行一些查询。我想将结果保存在hadoop中，然后将结果复制到我的本地驱动器中。

myTable = sqlContext.sql("SOME QUERIES")
myTable.show() # Show my result
myTable.registerTempTable("myTable") # Save as table
myTable.saveAsTextFile("SEARCH PATH") # Saving result in my hadoop

这会返回：
AttributeError：＆＃39; DataFrame＆＃39;对象没有属性＆＃39; saveAsTextFile＆＃39;

这是我通常只使用pyspark而不是pyspark.sql的方式。

然后我用

复制到本地驱动器

hdfs dfs –copyToLocal SEARCH PATH

任何人都可以帮助我吗？

Answer 1

您可以将DataFrameWriter与其中一种支持的格式一起使用。例如，对于JSON：

myTable.write.json(path)