U-SQL:如何在不使用中间文件的情况下顺序处理多个脚本?

时间:2018-11-16 12:49:08

标签: azure azure-data-lake u-sql

我想一次运行多个脚本。有什么解决办法吗?

脚本1(从CSV提取以创建表A)

脚本2(加载表A创建表B)

脚本3(加载表B创建表C)

脚本4(加载表C输出CSV)

  • 选项1:程序

    它无需修改每个脚本即可工作,但是不允许对Table进行以前的修改,因此我需要将中间Table修改为文件。这意味着我需要在每次加载时管理方案。我想避免这种情况。

  • 选项2:TVF

    如果我使用表类型(行集)指定脚本的输入/输出,则可以使用它。但是,管理表类型对我来说有点麻烦。并且为此存在Table以前的修改规则。并且由于某些脚本将附带结果输出为CSV,而TVF不允许这样做。

也许使用隐式表方案(无表类型)不允许首字母缩略词。 如下所示的预览功能似乎可以使这些脚本更加可重用,以实现脚本调用:

  

U-SQL表值函数参数的有限灵活模式功能现在可用于预览(需要选择加入)   此功能允许编写更通用的U-SQL表值函数和过程,其中只需要存在表参数的部分架构。

2018 Spring release note

0 个答案:

没有答案