如何将Spark数据集保存到Bigquery表

时间:2017-01-20 11:00:16

标签: apache-spark apache-spark-sql spark-dataframe

是否有人将数据集保存到Bigquery表?

我使用以下example成功加载到BigQuery中。这使用RDD.saveAsNewAPIHadoopDataset方法来保存数据。 我正在使用数据集(或DataFrame)并查找saveAsNewAPIHadoopDataset方法但无法找到它。

任何一个例子都很棒。

1 个答案:

答案 0 :(得分:2)

您可以使用spark-bigquery方法dplyr

dataframe.saveAsBigQueryTable