在Cloud Data Prep中使用带参数的BigQuery参数集吗？

Question

我有几个BigQuery数据集，其中包含每天创建的表，例如

• apples_201904010
• apples_201904009

等

我想设置一个计划的Cloud Data Prep作业来每晚处理这些表，因此使用带参数的数据集选项确实很有吸引力。单击将BigQuery数据集替换为带有参数的数据集时，出现以下提示，并带有BigQuery协议：

是否有办法每天使用此设置动态提取正确的表，还是我需要走另一条路，例如每天将表导出到GCS，然后使用带有参数的数据集？

Answer 1

要安排按日期处理BigQuery表的Cloud Dataprep作业，您可以使用以下选项：

1. 使用Google Cloud Composer创建一个schedules BigQuery exports to Cloud Storage的DAG，然后将这些导出的文件与 正如您所提到的Dataprep Parameters。
2. [推荐]完全跳过Dataprep参数 创建一个customized BigQuery view as a Dataprep dataset。

然后您可以schedule your Dataprep job使用任一选项每天运行。

关于选项＃1，您可以使用参数设置Data Prep数据集的date range，以便它们仅接受指定日期范围内的文件。