将数据插入Bigquery表的最佳方法

Question

我想知道是否有任何首选的方法将数据插入到bigquery表中？

我正在Cloud Composer DAG末尾的BQ表中插入新行。我使用了基于BigQueryOperator的自定义运算符，如下所示：

INSERT INTO `<project>.<dataset>.<table> (col1,col2,col3)
VALUES
(ccc,ccc,ddd),
(...,...,...)

添加到表中的值最多可以有500行（...，...，...），但通常约为10-100行。

是否有推荐/更好的方法？我不知道是否值得GCS传递，因为包含所有行的“文件”不会很大。

Answer 1

请注意，INSERT的成本（插入数据的大小）与通过GCS进行的加载作业（这是免费的）相比。

• https://cloud.google.com/bigquery/pricing

传统上INSERT不是一个选择，但是现在为了方便起见在这里。

如果费用微不足道，这是最方便的选择-那就去吧。