Google Cloud Dataflow（Python）：连接多个文件的功能

Question

我是Google云的新手，并且知道python可以编写一些脚本，目前正在学习云功能和BiqQuery。

我的问题： 我需要将包含多个查找文件的大型CSV文件加入其中，并替换查找文件中的值。

了解到可以使用数据流进行ETL，但不知道如何用Python编写代码。

请您分享您的见解。 感谢您的帮助。

Answer 1

建议不要单独提取并加载CSV和查找数据，而不要在python中加入数据。然后运行将数据和writes the result to a permanent table连接起来的BigQuery查询。然后，您可以删除单独导入的数据。