使用Google Cloud Dataflow SDK读取流数据

时间:2016-12-23 03:54:20

标签: java google-cloud-platform google-cloud-dataflow

我正在开发一个IOT应用程序,我需要从Pu​​bSub主题中读取流数据。我想使用Google Cloud Dataflow SDK阅读此数据。我使用的是Java 1.8

我正在使用Google Cloud Platform的试用版。当我使用PubSubIO.Read方法读取流数据时,我在日志文件中遇到错误,我的项目没有足够的CPU配额来运行应用程序。

所以我想使用Google Cloud Dataflow SDK阅读流媒体数据。

有人可以告诉我在哪里可以找到使用Google Cloud Dataflow SDK阅读流媒体数据的完整示例。

提前致谢。

1 个答案:

答案 0 :(得分:2)

Complete Examples下的Cloud Dataflow文档中提供了许多完整的示例,并在此处链接到Github,也在Complete Examples下。

根据您的错误消息,您确实没有足够的CPU配额来运行默认的3x 4线程(n1-standard-4)工作程序。 CPU quota for Google Cloud trial是8个CPU。

您可以configure your job要求更少的CPU,例如通过使用更少的工作人员(例如--numWorkers=1)或不同的机器类型(--workerMachineType=n1-standard-1