Dataprep流量限制为~15个导入数据集

时间:2018-03-27 08:45:51

标签: google-cloud-dataprep

我想分享一下有关dataprep产品限制的一个发现。

我是构造流程,在进一步处理之前,我需要组合多个json文件。然后通过最后的参考数据集组合流。

经过一次重大的努力后,我注意到当用作输入的json文件总数低于15时,可以启动数据流作业。

然而,超过此限制将导致失败,而无需任何解释。

如果有人可以更深入地了解这个问题,那就太好了: *为什么会有这样的限制? *这是另一个可能导致我认为有限制的问题吗? *有没有快速的方法来确定dataprep中这些类型的问题/错误的来源? *是否有解决方法来增加输入文件的数量?

干杯, BRAM

1 个答案:

答案 0 :(得分:0)

我在dataprep中确实有启动工作的问题,并通过

解决了
  • 在运行页面中禁用“配置文件结果”选项。