加快JoB的处理时间

时间:2018-06-14 16:59:30

标签: google-cloud-dataprep

我的食谱中有一个样本(100行)和三个步骤;当我运行作业以在bigquery中的表中加载数据时;创建表需要6百万。对于像我正在测试的那个简单的过程,游戏中时光倒流太长了。我想知道是否有办法加快工作。更改一些设置,增加机器的大小,在特定时间运行作业,等等。

1 个答案:

答案 0 :(得分:0)

如果您查看Google Cloud Platform-> Dataflow->您的Dataprep作业,您将看到一个包含计算步骤和计算时间的工作流图。对于复杂的流程,您可以在此处确定需要花费较长时间才能知道需要改进的操作。

对于小型工作,没有太多要做的改进,因为设置环境大约需要4分钟。您可以在右侧看到“经过的时间”(实时),以及一个说明启动和停止工作人员需要花费多少时间的时间图。