Question

有谁知道我在哪里可以找到var Component1 = createReactClass({...}); module.exports = Component1;中saveAsTable()功能的可用格式列表？在the documentation中，它只是说＆＃34;用于保存的格式。＆＃34;

我看到的每个例子都使用了镶木地板和＃39;但我找不到任何其他提到的东西。具体来说，我想以某种方式从pyspark中保存到Feather。

谢谢！

Answer 1

据我所知，格式为源代码https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/DataFrameWriter.scala的开箱即用支持的命令是：

木地板
JSON
兽人
JDBC
文本
CSV
source（只需要获取源代码你要保存的格式）

对于saveAsTable（），开箱即用不支持Feather。根据您的设置，您可以尝试直接保存到HDFS，这可能类似于：＆＃34;

import feather
path= "my_data.feather" #this would then be your full hdfs URI
feather.write_dataframe(df, path)

（摘自羽毛整合测试：https://github.com/wesm/feather/blob/6b5a27c58d1e850f4eabb8c013e0976b8844eb3c/integration-tests/test_roundtrips.py）

希望这有用，如果有任何错误或不清楚，请告诉我。

pyspark.sql.DataFrameWriter.saveAsTable（）的格式

1 个答案: