我们遇到从Google Cloud Datastore到Bigquery的数据传输问题。我们需要在python中为这个作业创建数据流脚本。这个作业应该通过在python中使用管道将数据从数据存储区传输到bigquery。对于python中的这项工作,它需要“Apache Beam”库。但Apache Beam库不起作用。有人可以帮助我们吗?
答案 0 :(得分:1)
Google Cloud Dataflow SDK for Python已准备就绪,目前在Google云端平台上提供Beta级别的支持。它基于Apache Beam代码库。请按照Quickstart开始使用此SDK。如果您发现特定错误,请提出单独的问题并引用具体问题。
也就是说,SDK for Python尚未提供直接访问Google Cloud Datastore的API。您可以使用通用lowest
和Source
API编写一个。这并不难,但也不是微不足道的。这是我们正在积极研究的内容,Python SDK将在不久的将来包含此API。
与此同时,我建议尝试使用SDK for Java来完成此任务,其中包括Sink
和DatastoreIO
API。