如何在json文件上创建带有过滤器的舞台？

Question

我很难使用阶段，因为json文件之一存在语法问题。

有人知道是否可以使用带有regex的文件名创建带有筛选器的阶段吗？

一旦通过以下步骤创建了舞台，我就成功了：

list @my_stage pattern = 'mypattern'

但是似乎我无法将这种约束直接整合到舞台的创建中……

Answer 1

创建阶段时无法指定模式，但是在阶段上执行的操作可以应用模式，这可以帮助忽略您已知的错误文件。

在listing a stage，querying a stage directly以及执行COPY INTO <TABLE> FROM <STAGE> commands时，可以应用舞台文件上的模式。

COPY INTO <TABLE>选项还允许传递ON_ERROR='CONTINUE' option，以自动忽略正在加载的任何文件中的不可读行。