分配timestampLabel时,PubSub资源设置无法为Dataflow作业

时间:2017-01-18 19:34:41

标签: google-cloud-platform google-cloud-dataflow apache-beam

在从PubSub读取后修改我的作业以开始使用timestampLabel时,每次尝试使用以下错误启动作业时,资源设置似乎都会中断:

(c8bce90672926e26): Workflow failed. Causes: (5743e5d17dd7bfb7): Step    setup_resource_/subscriptions/project-name/subscription-name__streaming_dataflow_internal25: Set up of resource /subscriptions/project-name/subscription-name__streaming_dataflow_internal failed

其中project-namesubscription-name代表我正在尝试阅读的项目和PubSub订阅的实际值。在尝试在消息条目上附加timestampLabel之前,作业工作正常,消耗来自指定PubSub订阅的消息,这应该意味着我的API /网络设置正常。

我还注意到有效负载的两个警告

Internal Issue (119d3b54af281acf): 65177287:8503

但是在工作日志中找不到更多信息。在我的工作设置的几秒钟内,我可以看到在管道的第一步中设置了timestampLabel。不幸的是,我找不到关于此错误的任何其他案例或文档。

1 个答案:

答案 0 :(得分:0)

使用timestampLabel功能时,会创建第二个订阅以用于跟踪目的。仔细检查您主题的权限设置,确保其与permissions required匹配。