我在Azure数据工厂中有一个管道,该管道具有一系列相互连接的Hive活动,并且该活动在OnDemand HDInsights群集上运行HiveQL脚本。每个Hive活动都将一些参数作为输入,并基于作为输入传递的值和存储在Data Lake存储中的原始数据运行一些业务逻辑。
现在,有些HiveQL脚本需要更改/更新值(输入参数),并且这些值需要进一步传递给下一个Hive活动。
如何实现这种情况?我的HiveQL脚本应该是什么样子,以及如何从1个Hive活动中提取输出参数并将其作为输入传递给其他Hive活动。
为解决上述问题,我创建了一个外部Hive表(T_Variables),它以CSV格式存储,共有2列(键,值)。每个配置单元活动(HiveQL脚本)在T_Variables表中插入/更新一行。但是在HiveQL中从T_Variables中选择值并在需要使用特定变量值的地方使用它变得非常困难。
Azure数据工厂中是否有任何方法(任何活动)可以读取CSV文件并将其转换为可以作为输入传递到下一个配置单元活动的参数?