Question

我想存储和查询在DataFactory运行期间生成的OUTPUT和ERROR数据。调用Get-AzDataFactoryV2ActivityRun时返回数据。

目的是使用它来以简便快捷的方式监视可能发生的管道执行错误，持续时间等。

数据类似JSON格式。最好是通过一些html可视化每个执行的摘要。我应该将此日志存储到MongoDB中吗？

是否有一种简便，更好的方法来集中执行多个不同管道的日志信息？


ResourceGroupName : Test
DataFactoryName   : DFTest
ActivityRunId     : 00000000-0000-0000-0000-000000000000
ActivityName      : If Condition1
PipelineRunId     : 00000000-0000-0000-0000-000000000000
PipelineName      : Test
Input             : {}
Output            : {}
LinkedServiceName :
ActivityRunStart  : 03/07/2019 11:27:21
ActivityRunEnd    : 03/07/2019 11:27:21
DurationInMs      : 000
Status            : Succeeded
Error             : {errorCode, message, failureType, target}

Activity 'Output' section:
"firstRow": {
  "col1": 1
}
"effectiveIntegrationRuntime": "DefaultIntegrationRuntime (West Europe)"

Answer 1

这可能不是监视ADF管道的最佳方法。
您是否考虑过使用Azure Monitor？
了解更多：
-https://docs.microsoft.com/en-us/azure/data-factory/monitor-using-azure-monitor
-https://docs.microsoft.com/en-us/azure/azure-monitor/visualizations

建议存储和查询DataFactory运行日志？

1 个答案: