使用nodejs Cloud函数将csv文件导入Google CloudSQL

时间:2018-09-08 20:38:22

标签: mysql node.js google-cloud-platform google-cloud-functions etl

除了自己流式处理csv文件并为每行数据精心执行插入操作外,还可以使用Google Cloud sdk从云功能内部批量导入整个csv文件。我知道在gcp控制台中,您可以转到“导入”选项卡,从存储中选择一个文件,然后直接导入。但是我该如何以编程方式对此进行仿真?

1 个答案:

答案 0 :(得分:1)

通常,必须解析.csv并从中生成SQL.csv中的一行将由一个INSERT语句表示。首先,您必须upload文件-或将其拉到Cloud Functions临时存储中,例如。与gcs.bucket.file(filePath).download

那么最容易的可能是利用一个库,例如。 csv2sql-lite-不利的一面是-无法完全控制导入-例如csv-parse将提供更多控制权(例如,检查可能的重复项,跳过某些列,导入到其他表等)。

...,并订购连接到Cloud SQL的命令,请参见Connecting from Cloud Functions