从USQL中的元数据动态生成提取脚本

Question

我需要读取json格式的元数据信息，并动态生成提取语句以进一步转换该表的数据。

我当前已在Azure SQL DB中加载元数据信息。因此，我需要读取这些数据并动态创建提取语句，然后将它们作为参数传递给USQL。

在如何进行此操作以及这是否是我遵循的正确方法方面需要帮助。

谢谢。

Answer 1

不要将执行U-SQL等同于SQL Server中的“存储过程”：两者在幕后完全不同。例如，可以支持传递参数，但不像您想象的那样，并且[据我所知]不支持动态脚本元素。

但是，我确实认为您可以使用Azure Data Factory（ADF）和一些自定义代码来完成此操作。

1. ADF通过引用Blob存储中的Blob执行U-SQL脚本，因此您可以拥有一个ADF custom activity（Azure Batch），该ADF读取您的元数据并动态生成Azure的U-SQL脚本Blob。
2. 一旦可用，数据工厂就可以基于保存脚本名称的管道参数来执行生成的脚本。

在ADF中执行此操作可使您动态执行此复杂操作。如果您选择这条路线，请务必使用ADF V2。