自6/20更新以来,Dataprep作业运行了72个小时以上。作业状态为已完成但未发布

时间:2019-06-24 18:27:19

标签: google-cloud-dataprep

我一直在运行Dataprep的日常工作,自从上周进行更新以来,我大约有一半的工作现在正在挂起并且没有被发布。它们显示为正在进行的作业,尽管当我转到实际的作业页面时,该作业似乎已完成。没有发布操作,并且发布目标没有显示为已更新。自周五以来,一些工作已经进行了72个小时以上。

我看到了其他用户在线存在相同问题的痕迹,但没有看到Google或Trifacta的任何回应或认可。

我尝试过重新启动作业没有成功,并且似乎没有办法取消这些挂起的作业,因为从Google的角度来看,这些作业本身似乎是成功的,只是没有发布。在我发布到BigQuery的作业以及发布到Google Cloud Storage的作业以及手动和计划作业中,都会出现此问题。

4 个答案:

答案 0 :(得分:1)

这可能仅影响升级期间推送的工作,并且本质上应该是美观的。请注意,您无需付费。

之前完全相同的工作没有改变吗?如果是这样,请与支持人员联系并将成功和现在失败的工作ID作为参考,以便对其进行进一步调查。

干杯, 塞巴斯蒂安

答案 1 :(得分:0)

我也遇到了同样的问题!作业的输出放置在cloudstorage中的一个临时文件夹中,输出大部分由多个没有标题的文件组成。...

答案 2 :(得分:0)

它也在这里制造巨大的问题。它将正常文件的多个部分放置在没有标题的temp文件夹中,而不是普通的输出文件。使得依赖这些输出的新计划作业无效,因为它不会加载新输出。

如果您手动合并temp文件夹中的文件并添加标题(对于csv),然后将其放置在正确的文件夹中,则可以手动创建输出(对于csv)。

Google也没有回应。

答案 3 :(得分:0)

我们看到的是目的地和工作类型完全相同的事物。 。 。几乎就像Dataprep失去了对基础DataFlow作业的跟踪,并没有完成它的完成工作(这就是为什么您看到临时文件(即输出)的原因,然后Dataprep分别处理输出文件的格式)。

有人很友好,已经将其发布在问题跟踪器上,因此请加注星标并添加任何可能对Dataprep团队有用的其他详细信息: https://issuetracker.google.com/issues/135865374