Matillion for Amazon Redshift支持工作监控

时间:2017-07-14 17:00:38

标签: amazon-web-services amazon-redshift etl jobs

我正在使用Amazon Matillion for Redshift,我们每天都有多个由SQS消息触发的作业。现在,我正在检查为利益相关者创建UI仪表板的可能性,该仪表板将监控作业的实时进度,并显示以前作业的报告,如作业名称,受影响的表格,作业状态/失败原因等.Matillion是否保留此类信息含蓄?或者我将不得不为每项工作保留这些信息。

2 个答案:

答案 0 :(得分:3)

Matillion有一个API,您可以使用它来获取所有任务历史记录的详细信息。有关任务API的信息如下: https://redshiftsupport.matillion.com/customer/en/portal/articles/2720083-loading-task-information?b_id=8915

您可以使用此功能将当前正在运行的作业或已完成作业的数据提取到组件级别,包括作业名称,组件名称,运行时间,是否成功运行以及任何适用的错误消息。

可以使用内置于产品和API查询组件中的Matillion API配置文件将此信息提取到Redshift表中。然后,您可以在此表的顶部构建仪表板。如需进一步信息,我建议您通过他们的支持中心与Matillion联系。

答案 1 :(得分:0)

API很有帮助,但您只能传递日期作为参数(这对于Matillion for Snowflake,假设与Redshift相同)。我已要求能够传递日期时间,以便我们可以全天运行作业,而不必在每次API调用运行时都拉回相同的记录集。