我们如何获取Data Factory日志信息

Question

我们如何获取Data Factory日志信息。

Microsoft做了任何文档。我在运行管道时需要完整的信息

即

开始时间，结束时间，管道作业ID，未插入记录，删除，更新，错误等

Answer 1

ADF当前未写入Azure活动日志，这意味着您无法使用Azure监视器访问详细信息。

目前我发现获取此信息的最佳方法是使用PowerShell。例如：

Get-AzureRmDataFactoryActivityWindow `
    -DataFactoryName $ADFName.DataFactoryName `
    -ResourceGroupName $ResourceGroup `
    | ? {$_.WindowStart -ge $Now} `
    | SELECT ActivityName, ActivityType, WindowState, RunStart, InputDatasets, OutputDatasets `
    | Sort-Object ActivityName

此处有更多信息：https://docs.microsoft.com/en-us/powershell/module/azurerm.datafactories/get-azurermdatafactoryactivitywindow?view=azurermps-4.0.0

希望这有帮助

Answer 2

最简单的方法是通过SSMS连接到将包打包到的服务器中的SSISDB。打开后，浏览至包->生成报告->所有执行。

Answer 3

如果使用Python，则可以使用Azure Python SDK来访问pipeline_runs和activity_runs元数据并写入数据库表。