如何在dataprep中刷新一个数据集？

Question

我在Dataprep中有一个流程，该流程使用Bigquery中的一个表，该表的架构已更改，现在如何在不影响我的ETL或删除我的步骤的情况下刷新初始导入。

Answer 1

据我了解，BQ连接器的本质以一种方式工作，每次处理流程时，就是打开配方，介入配方，执行工作……GDP始终检查数据源。如果源数据已更改，那么您在GDP中的结果将会更改。

如果我错了，请有人启发我。

最好。

/ e

Answer 2

如果表的架构已更改，则需要再次从BigQuery导入表，并join将原始表与更新后的表一起导入。您可以按照以下步骤操作：

1。在流程页面中，单击“添加数据集”按钮

2。在弹出菜单上，选择“导入数据集”，然后选择具有已更新架构的表

3。在您的食谱页面上，在当前第一步之前插入“加入数据集”步骤

4。选择刚刚导入的更新的数据集，然后单击预览

5。在“ Join Keys”选项卡下，选择“ Right Outer Join”，然后将“ Join Keys”设置为公共列。

请注意，这仅在数据集具有未更改的唯一ID列的情况下有效。