将Google云端存储数据加载到bigtable中

Question

是否有一种简单的方法或示例可以将Google Cloud Storage数据加载到bigtable？

我有很多由{pyspark生成的json文件，我希望将数据加载到bigtable。

但我找不到一个简单的方法来做到这一点！

我已经尝试了来自google-cloud-python的python代码并且它被罚了，但它只是逐行读取数据到bigtable，这对我来说很奇怪。

非常感谢任何帮助。

Answer 1

在Cloud Bigtable中没有简单的工具来读取数据。以下是一些选项：

1. 使用Dataflow导入文件。这需要Java开发，并学习Dataflow编程模型。
2. 使用Python（可能与Pyspark）读取这些json文件，并使用名为mutate_rows的方法写入Cloud Bigtable，该方法批量写入Bigtable。

仅供参考，我在Cloud Bigtable团队工作。我是Java开发人员，所以我选择了＃1。我们的团队一直致力于改善我们的python体验。扩展团队最近添加了一些可靠性改进，以确保mutate_rows对大型作业具有弹性。我们还没有任何与PySpark或Apache Beam's python SDK集成的好例子，但它们在我们的雷达上。