将Numpy矩阵从DataLab上传到BigQuery

时间:2018-01-10 09:26:45

标签: python google-bigquery google-cloud-datalab

我在DataLab中有一个numpy矩阵作为输出。如何在BigQuery中将其作为表格?

到目前为止,似乎我需要将其转换为JSON,保存在存储中并从那里上传。 有没有更简单的方法来完成这项工作?

由于

1 个答案:

答案 0 :(得分:0)

找到一个包含pandas包的简单解决方案。

需要将数据转换为数据框,然后使用to_gbq方法。

Here是文档

唯一的缺点是,在BigQuery的streaming buffer中,记录会持续数小时(如果不是几天),而且我不确定它的影响是什么。