Pyspark路径正则表达式负提前

时间:2018-11-29 21:39:20

标签: regex pyspark parquet negative-lookahead

我有这样的实木复合地板名称:

parquetNames = [NAME1,NAME1_MS,NAME2, NAME2_MQ]

我只想加载NAME1NAME2中的实木复合地板,但是我在负前瞻和交替方面遇到了麻烦。如果我这样做:

s3BaseDir+'NAME*'

然后按预期加载所有实木复合地板目录。在herehere中,我可以像这样进行否定的前瞻,避免使用完整的子字符串"_MS""_MQ"

s3BaseDir+'NAME*(?!{_MS,_MQ})'

但是我得到

AnalysisException: 'Path does not exist'

似乎从字面上理解了更复杂的正则表达式。

在pyspark spark.read.parquet中是否可以使用否定前行?是否也可以将其与交替相结合?怎么样?

0 个答案:

没有答案