使用Power BI监视ADF管道状态

Question

我们是否可以将ADF管道元数据提取到Power BI中。我想要数据集名称，切片开始和结束时间以及状态等详细信息。

Answer 1

我不确定门户网站（ADF V2）中是否有内置数据集或功能，但我这样做的方法是使用Python SDK，我基本上得到每个活动运行的元数据，不确定如果您使用的是ADF V2，并且您使用的是Python（.NET有类似的功能）

here

中的更多详情

 def _get_activity_metadata(self, pipeline_run_id, start_time, end_time, activity_name):

     act_runs = self.adf_client.activity_runs.list_by_pipeline_run(self.resource_group_name, self.data_factory_name,
                                                                  run_id=pipeline_run_id,
                                                                  start_time=start_time,
                                                                  end_time=end_time,
                                                                  activity_name=activity_name)
    for act in act_runs:
        act_run_id = act.activity_run_id
        act_status = act.status
        act_error = act.error
        act_run_end = act.activity_run_end
        act_run_end_est = act_run_end.astimezone(pytz.timezone('America/New_York'))
        result = {'last_run_time': act_run_end_est,
                  'status': act_status,
                  'error': act.error,
                  'duration_in_ms': act.duration_in_ms,
                  'input': act.input,
                  'output': act.output
                  }

    return result

然后，我得到结果并插入到SQL表/视图中，并在PowerBI，DOMO，SSRS，Excel等中可视化。

Answer 2

在Data Factory v1中，您应该看一下这个blog post。它解释了如何使用REST API获取Data Factory运行数据并将其导入PowerBI。它甚至还有一个PowerBI模板文件，可以帮助您入门。另一种方法是使用PowerShell，如here

所述

对于v2，此刻我正在查看内置日志记录。您可以对其进行配置with PowerShell。我正在将日志写入存储帐户并使用PowerBI导入，但也可以使用OMS监控它。