Question

有点像Spark 。这就是问题所在，我有一个带有一般格式的txt文件，让我们说：Time : Message所以我必须实现两件事：RDD和模式组以及匹配。

将文件作为rdd：

val rdd1 = sc.textFile(location)

构建模式：

private val f1 = "([0-9]*)"
private val f2 = "([:])"
private val f3 = "(.*?)"
private val regex = s"$f1 $f2 $f3"
private val p = Pattern.compile(regex)

现在我想整合这两个，

rdd1.map(//What to do here)

我想检查每一行是否与一般格式相符。如果我不想为每行不匹配显示错误信息。

如果匹配，我想为上述模式制作组。 f1是group1，f2是group2，f3是group3。最后我想搜索f3（消息字段）中的错误，失败等关键字。

我知道这要求很多。提前做好。

我已经尝试过：

def parseLine(s1: String): Option[Groups] = {
val matcher = p.matcher(s1)
if (matcher.find) {
  println("General Format correct")
  //group
  Some(group(matcher))
  //after format is verified search f3 for error,failure keyword.

}
else {
  println("Format Wrong")
  None
}
}

def group(matcher: Matcher) = {
Line(
  matcher.group(1),
  matcher.group(2),
  matcher.group(3))}

case class Line(Time: String, colon: String, Message: String)

现在我停留在如何迭代rdd以将文本文件的每一行传递给函数。如果我将整个rdd传递给函数，即RDD [String]类型。其他元素如matcher不会＆＃39; t work因为它需要String类型。在阅读有关rdd函数时:(如果我错了，请更正我），foreach方法应该迭代rdd但我得到类型不匹配。目前正在尝试使用地图功能，但尚未得到它。

正如我所说，我是新手来激发rdd's。我不知道使用分区功能是否会帮助我而不是分组。

我真的需要一些来自实验的指导。任何帮助都是适当的。

Answer 1

通过这样的简单示例，通常使用RDD执行此操作的方式与使用简单Scala序列执行此操作的方式相同。如果我们将Spark从等式中取出，那么方法就是：

import scala.util.{Failure, Success}

val input = List(
  "123 : Message1 Error",
  "This line doesn't conform",
  "345 : Message2",
  "Neither does this one",
  "789 : Message3 Error"
)

val f1 = "([0-9]*)"
val f2 = "([:])"
val f3 = "(.*)"
val regex = s"$f1 $f2 $f3".r

case class Line(a: String, b: String, c: String)


//Use Success and Failure as the functional way of representing
//operations which might not succeed
val parsed = input.map { str =>
  regex.findFirstMatchIn(str).map(m => Line(m.group(1), m.group(2), m.group(3))) match {
    case Some(l) => Success(l)
    case None => Failure(new Exception(s"Non matching input: $str"))
  }
}

//Now split the parsed result so we can handle the two types of outcome separately
val matching = parsed.filter(_.isSuccess)
val nonMatching = parsed.filter(_.isFailure)

nonMatching.foreach(println)

//Filter for only those messages we're interested in
val messagesWithError = matching.collect{
  case Success(l @ Line(_,_,m)) if m.contains("Error") => l
}

messagesWithError.foreach(println)

我们在Spark中做什么有什么不同？不多：

  val sc = new SparkContext(new SparkConf().setMaster("local[*]").setAppName("Example"))

  import scala.util.{Failure, Success}

  val input = List(
    "123 : Message1 Error",
    "This line doesn't conform",
    "345 : Message2",
    "Neither does this one",
    "789 : Message3 Error"
  )

  val f1 = "([0-9]*)"
  val f2 = "([:])"
  val f3 = "(.*)"
  val regex = s"$f1 $f2 $f3".r

  case class Line(a: String, b: String, c: String)

  val inputRDD = sc.parallelize(input)

  //Use Success and Failure as the functional way of representing
  //operations which might not succeed
  val parsedRDD = inputRDD.map { str =>
    regex.findFirstMatchIn(str).map(m => Line(m.group(1), m.group(2), m.group(3))) match {
      case Some(l) => Success(l)
      case None => Failure(new Exception(s"Non matching input: $str"))
    }
  }

  //Now split the parsed result so we can handle the two types of outcome separately
  val matchingRDD = parsedRDD.filter(_.isSuccess)
  val nonMatchingRDD = parsedRDD.filter(_.isFailure)

  //We use collect() to bring the results back from the Spark workers to the Driver
  nonMatchingRDD.collect().foreach(println)

  //Filter for only those messages we're interested in
  val messagesWithError = matchingRDD.collect {
    case Success(l@Line(_, _, m)) if m.contains("Error") => l
  }

  //We use collect() to bring the results back from the Spark workers to the Driver
  messagesWithError.collect().foreach(println)
}

如果结果数据集非常大，使用collect()将结果提供给驱动程序将不合适，但使用println来记录结果也不合适。

Scala RDD与文本文件

1 个答案: