我有一个处理一批csv文件的U-SQL脚本。我正在使用虚拟列来检索每个文件的产品ID。所有读取的文件都具有相同的产品ID。
我在自定义输出器中建立了一个数据库连接,该数据库根据产品ID检索元信息。这可以工作,但是对所有文件(这是预期的行为)调用db。
但是是否可以创建一个仅运行一次并附加到所有文件的输出的Global函数?这对我有用,因为所有文件都具有相同的产品ID。
答案 0 :(得分:0)
很抱歉迟到的回复。我不清楚你想要达到的目的。
首先,您的代码一旦部署到群集就不会运行,因为不允许用户代码穿过容器边界(有关详细原因,请参阅Does U-SQL allow custom code to call external services)。
其次,U-SQL脚本是声明性查询。因此,没有结果的中间快照。如果您的“全局”函数是该查询的一部分并且仅在作业图的正确位置执行一次,则可以执行此操作。但是如果不知道你想做什么的细节,就很难提供建议。