云数据流中的最大并发作业数

Question

并发数据流作业（不是核心）的数量是否有限制？ 我试图提交约40个小作业并行运行，但在7个作业后开始获得429个限速超出错误。

谢谢， ģ

Answer 1

是的，每个项目的并发作业数量有限制。

在alpha中，我们目前支持10个并发作业。如果您希望在alpha期间增加此限制，请联系dataflow-feedback [at] google [dot] com。

Answer 2

如官方文件here中所述，

  

每个云平台项目最多可以运行 25个并发数据流作业。

     

Dataflow服务目前仅限于处理10MB或更小的作业请求。作业请求的大小特别与管道的JSON表示相关联;更大的管道意味着更大的要求。