如何创建从Google Drive到BigQuery的管道

Question

我需要做以下事情：

1. 将.csv文件上传到Google云端硬盘
2. 进入Google Cloud后，应通过存储在Google存储中的Javascript功能打开该文件，以便对某些列应用更改。
3. 生成的.csv应该用于创建BigQuery表。

此管道应从桌面命令行启动。

Answer 1

如果您直接在Google云端存储中上传.csv文件而非在Google云端硬盘中，您可以：

1. 触发Cloud Functions（可在uploading the file
时自动触发）
2. 使用Cloud Function中的JavaScript代码执行编辑操作。
3. 应用node.js client library for BigQuery以在云功能中加载生成的.csv。

您还可以创建两个云功能来分离他们的角色，并按照以下步骤在GCS中创建备份CSV：

1. 触发云功能1。
2. 使用Cloud Function 1中的JavaScript代码执行编辑操作。
3. 使用云功能1将.csv保存回Google云端存储中的其他存储区。
4. 触发云功能2将新的.csv转移到BigQuery（查找here示例代码）。

如果您需要先在Google云端硬盘中加载，请查看Apps Scripts。您可能会找到解决方案there。