对存储在BigQuery中的数据进行预处理

Question

我刚刚开始使用GCP，对于正确使用某些工具我有些疑虑。特别是，我试图将Google Analytics中的数据提取到BigQuery中。是否可以在存储在BigQuery中的数据上使用Dataprep？我见过的几乎所有示例都使用Dataprep来显示存储在Google Storage中的数据，但没有任何内容涉及BigQuery。

任何帮助都会非常感激。

Answer 1

您可以完全使用Dataprep处理存储在BigQuery中的数据。它为您提供了一种可视化数据集外观的好方法，并以交互方式定义转换。

现在，您真的想要使用Dataprep吗？转换将更加昂贵和缓慢，因为它们将在Dataflow上运行 - 这通常比在BigQuery中执行所有内容更加昂贵和缓慢（因为问题涉及已经在BigQuery中的数据）。

另一方面，交互式环境可以帮助您快速定义所需内容并定期运行创建的配方。

在Lak的“如何使用Dataprep安排BigQuery ETL作业”中查看更多相关信息。

• https://medium.com/google-cloud/how-to-schedule-a-bigquery-etl-job-with-dataprep-b1c314883ab9。

Answer 2

根据documentation on Dataprep，您可以导入BigQuery数据集。

但是，打开Dataprep并检查那里的导入选项可能更容易：