检查表是否存在：Spark bigquery连接器

Question

Am使用spark bigquery连接器从Bigquery读取数据。 https://cloud.google.com/dataproc/docs/tutorials/bigquery-connector-spark-example 从表读取之前，需要检查表是否存在。 否则，API会引发错误

"Not found: Table sample_proj:sample_dataset.table"

有没有一种方法可以在spark bigquery连接器中处理此问题。

谢谢

Answer 1

到目前为止，bigquery中的错误（例如：表不存在或权限问题）将不会使spark应用程序退出或停止。这将是一个问题。因此，为避免出现这种情况，您可以将任务分为两部分，例如检查表是否存在。然后将火花处理成单独的任务。

Answer 2

如果该表非常重要，则可以检查该表是否存在，如果该表不存在，则使该过程失败。如果存在，则可以启动spark bigquery操作。

如果发现其他选择，请分享。