Cloud Dataflow和Dataprep有什么区别

Question

Dataprep和Dataflow均可用于ETL任务。实际上，Dataprep似乎在使用Dataflow作业。这是Dataprep提供使用用户界面编写数据流作业的工具的唯一区别吗？

Answer 1

数据流和dataprep都可以肯定地转换数据。主要区别在于谁在使用该技术。您的项目是否需要数据用户（例如数据工程师）或业务用户（例如分析师和数据科学家）进行自助数据转换？然后选择dataprep。这不是编码。最终，它将生成数据流作业。 Cloud dataprep提供了高级转换，例如，透视，透视，聚合，时间序列，联接，联合，标准化以及数百种通过直观的可视界面公开的其他数据功能。数据需要存储在CDS或BigQuery中。

Answer 2

Dataprep是用于通过UI对文件源执行ETL的工具。方便，但相对有限。数据流是一项托管服务，用于部署使用apache Beam编程模型编写的ETL管道，对批处理和流数据都有用，并且可以与所需的任何数据源（例如Kafka，pubsub，数据存储，JDBC ...）一起使用。 Dataprep仅限于GCS和BigQuery。