在Dataprep中使用导入功能导入具有多列和数百万行的BigQuery(BQ)表时,是否有任何选项可以简化数据集?
在整理数据集之前,您可以选择列并参数化BigQuery导入吗?
我唯一的选择是首先在BQ中创建视图-简化行和列的数量吗?
理想情况下,当我运行使用此表的任何配方的输出时,我希望将数据流工作流程的成本降至最低,并避免执行“选择*”步骤。
任何提示将不胜感激。
答案 0 :(得分:0)
目前,在整理数据集之前无法避免出现列,如果要减少查询成本和处理时间,使用视图是一个不错的选择。
在创建视图的查询中,可以使用一些 WHERE 条件来尽可能减少数据量。
还可以升级数据流计算机类型,这可以减少执行时间,并可能减少成本。