是否可以通过Spark / Scala程序截断Google BigQuery表?
我尝试了https://cloud.google.com/hadoop/examples/bigquery-connector-spark-example
上给出的wordcount示例但是找不到截断表格的方法。
对此有何见解?
答案 0 :(得分:0)
BigQueryConfiguration中的默认写入处置为WRITE_APPEND
。您需要为BigQuery输出配置指定WRITE_TRUNCATE
。所以添加这行代码应该有效:
[..]
conf.set(BigQueryConfiguration.OUTPUT_TABLE_WRITE_DISPOSITION_KEY, "WRITE_TRUNCATE")
[..]