将宽而深的BigQuery表导入Google Dataprep

时间:2019-09-28 11:03:19

标签: google-bigquery google-cloud-dataprep

在Dataprep中使用导入功能导入具有多列和数百万行的BigQuery(BQ)表时,是否有任何选项可以简化数据集?

在整理数据集之前,您可以选择列并参数化BigQuery导入吗?

我唯一的选择是首先在BQ中创建视图-简化行和列的数量吗?

理想情况下,当我运行使用此表的任何配方的输出时,我希望将数据流工作流程的成本降至最低,并避免执行“选择*”步骤。

任何提示将不胜感激。

1 个答案:

答案 0 :(得分:0)

目前,在整理数据集之前无法避免出现列,如果要减少查询成本和处理时间,使用视图是一个不错的选择。

在创建视图的查询中,可以使用一些 WHERE 条件来尽可能减少数据量。

还可以升级数据流计算机类型,这可以减少执行时间,并可能减少成本。