Question

我想使用parboiled2来解析多个CSV行而不是单个CSV字符串。结果将是：

val parser = new CSVRecordParser(fieldSeparator)
io.Source.fromFile("my-file").getLines().map(line => parser.record.run(line))

其中CSVRecordParser是我记录的CSV记录解析器。我遇到的问题是，对于我所尝试的，我不能这样做，因为半熟的解析器需要构造函数中的输入，而不是run方法。因此，我可以为每一行创建一个新的解析器，这是不好的，或者找到一种方法将输入传递给解析器，用于我拥有的每个输入。我试图通过将输入设置为变量并将解析器包装在另一个对象中来破解解析器

object CSVRecordParser {

  private object CSVRecordParserWrapper extends Parser with StringBuilding {

    val textBase = CharPredicate.Printable -- '"'
    val qTextData = textBase ++ "\r\n"

    var input: ParserInput = _
    var fieldDelimiter: Char = _

    def record = rule { zeroOrMore(field).separatedBy(fieldDelimiter) ~> (Seq[String] _) }
    def field = rule { quotedField | unquotedField }
    def quotedField = rule {
      '"' ~ clearSB() ~ zeroOrMore((qTextData | '"' ~ '"') ~ appendSB()) ~ '"' ~ ows ~ push(sb.toString)
    }
    def unquotedField = rule { capture(zeroOrMore(textData)) }
    def textData = textBase -- fieldDelimiter

    def ows = rule { zeroOrMore(' ') }
  }

  def parse(input: ParserInput, fieldDelimiter: Char): Result[Seq[String]] = {
    CSVRecordParserWrapper.input = input
    CSVRecordParserWrapper.fieldDelimiter = fieldDelimiter
    wrapTry(CSVRecordParserWrapper.record.run())
  }
}

然后在我想解析一行时调用CSVRecordParser.parse(input, separator)。除了这是可怕的事实，它不起作用，我经常有与之前的解析器用法相关的奇怪错误。我知道这不是我应该使用parboiled2编写解析器的方式，我想知道实现我想用这个库做什么的最佳方法是什么。

Answer 1

我在一个需要高速和低资源的项目中为超过100万条记录的CSV文件做了这个，我发现它可以很好地为每一行实例化一个新的解析器。

我注意到parboiled2自述文件提到解析器的重量非常轻。我试过这种方法。

我甚至不需要从默认值中增加JVM内存或堆限制。每行的解析器实例化效果非常好。

Answer 2

Why not add an end of record rule to the parser.

def EOR = rule { "\r\n" | "\n" }

def record = rule { zeroOrMore(field).separatedBy(fieldDelimiter) ~ EOR ~> (Seq[String] _) }

Then you can pass in as many lines as you want.

使用parboiled2来解析多行而不是String

2 个答案: