通过spark截断BigQuery表

时间:2017-03-24 08:52:39

标签: apache-spark google-bigquery

是否可以通过Spark / Scala程序截断Google BigQuery表?

我尝试了https://cloud.google.com/hadoop/examples/bigquery-connector-spark-example

上给出的wordcount示例

但是找不到截断表格的方法。

对此有何见解?

1 个答案:

答案 0 :(得分:0)

BigQueryConfiguration中的默认写入处置为WRITE_APPEND。您需要为BigQuery输出配置指定WRITE_TRUNCATE。所以添加这行代码应该有效:

[..]
conf.set(BigQueryConfiguration.OUTPUT_TABLE_WRITE_DISPOSITION_KEY, "WRITE_TRUNCATE")
[..]