在Spark中传递函数

Question

这是我的想法

String

如何将sc.textfile与我的方法filePath和regex集成？我想组合以获得新的rdd。

Answer 1

val baseRDD =sc.textfile(pizD.filepath).filter(line => {
         val value = pizD.regex(line) 
          if(value !=null)
             true
           else false
           })

假设pizD.filepath将文件名作为字符串，regex()将返回null值，如果regex din匹配。如果理解是正确的，那么上面的代码可以解决问题。