BigQuery和Hadoop连接器是否适用于联合表？

Question

我跟随以下示例： https://cloud.google.com/hadoop/examples/bigquery-connector-spark-example

我在BigQuery上有一个联合表。这能从中提取数据吗？

Answer 1

BigQuery连接器当前没有用于处理联合表的特殊逻辑，因此无法正常工作，因为它会尝试“导出”到另一个GCS位置。我已经提交GitHub issue来跟踪此功能;与此同时，如果联合数据确实已经在GCS中，您仍然可以直接作为普通的FileInputFormat（或sc.textFile）访问它，您只是失去了通过BigQuery的模式/元数据优势。