regex_path_filter如何在GCP中的DATA FUSION管道的GCSFile属性中工作

Question

IN GCP的数据融合管道，GCSFile属性具有一个名为“ Regex路径过滤器”的字段。它是如何工作的？。我对此没有适当的文档。

Answer 1

您可以找到正则表达式文档here。

关于它的工作原理：它适用于文件名而不是整个路径。 因此，假设您具有以下路径：gs://<my-bucket>/<my/complete/path>/，并且此路径中有一些csv和json文件。如果只想过滤csv文件，则可以使用正则表达式.*\.csv。重要的是要记住，此正则表达式只会过滤路径之后的内容。