从数据工厂管道读取/写入错误消息

时间:2020-08-04 15:40:45

标签: python azure pipeline azure-data-factory azure-data-factory-pipeline

要在这里尝试问这个问题。

我正在尝试将错误消息从Azure数据工厂管道写入SQL Server中的表。它需要从Databricks Python作业中捕获错误消息。我找不到从this source中找到的任何官方文档和方法:

@ {activity('Proc source')。error.message}

..不向表中写入任何内容。只是一个没有解释的空白字符串。

为什么数据工厂不只是一个区域,您可以查看错误的详细信息,而不仅仅是说“失败”。否则,它就会被隐藏起来。

有人有什么想法吗?

2 个答案:

答案 0 :(得分:0)

您可以在此处查看错误的详细信息。

enter image description here

@ {activity('Proc source')。error.message}

此表达式有效。

enter image description here

errorCode是否保存到表中?请确保您的活动名称正确。

答案 1 :(得分:0)

已解决:

对于任何其他阅读本文的人来说,这个问题原来是非常愚蠢的。我在python文件名中加入了一个空格。 这将返回错误代码3202和空白错误消息。

此后,我想分享另一个问题和解决方案,对于任何狂热地寻找该问题解决方案的人。从python文件名中删除空格后,我记录了错误代码“ 3204” 错误消息:“ Databricks执行失败,错误消息:。运行页面url :(链接到显示群集的页面)”。在可通过Azure门户启动的Databricks工作区中,通过“群集”侧边栏选择一个群集,然后转到“驱动程序日志”将在出现的“标准错误”窗口中显示错误。

我已经在现有集群上安装了所需的库,但是我忘记了更改Databricks链接服务中的设置。当我需要“现有交互式群集”时,“选择群集”设置为“新作业群集”。因此,它没有指向我期望的集群。

事实证明,这些都是相当小的错误,但是我再次希望处理相同问题的其他人能够找到这篇文章,并为自己省去一些麻烦!