有没有一种方法可以在Azure Data Lake Store上使用SSIS处理“任何文件”？

Question

我有可用的SSIS脚本从Data Lake加载Json文件。 但是名为“ Azure Data Lake Store源代码编辑器”的SSIS组件不接受来自变量的文件名，而仅接受硬编码。 由于我无法控制在Data Lake上创建新文件，因此每次登陆新文件时都必须更改SSIS脚本。

我了解SSIS可让您以编程方式访问脚本组件内的Connection Manager组件（我正在使用它来解析Json文件）。

我可以使用For Each Component到SSIS变量中来获取Data Lake存储库的所有文件名。而且我可以在脚本组件中调用该变量。

我要做的是用变量中的“源编辑器”的硬编码文件名覆盖。

我也理解我可以使用USQL做到这一点，但这是一条完全不同的开发路径。我将其保存为最后。

我很欣赏在正确方向上的任何指导。

谢谢。

Answer 1

我无法对此进行测试，但是您应该能够在数据流级别而不是组件级别对数据源组件进行参数化。

如果您在包含Azure Data Lake Store Source组件的数据流的属性中查看，应该会看到一个名为Expressions的属性值集合，在其中可以设置组件级别的属性值来自变量。

here中有此过程的摘要。