Question

我正在阅读csv文件。我正在使用Akka Streams执行此操作，以便我可以创建要在每一行执行的操作的图表。我已经启动并运行了以下玩具示例。

  def main(args: Array[String]): Unit = {
    implicit val system = ActorSystem("MyAkkaSystem")
    implicit val materializer = ActorMaterializer()

        val source = akka.stream.scaladsl.Source.fromIterator(Source.fromFile("a.csv").getLines)
        val sink = Sink.foreach(println)
        source.runWith(sink)
      }

这两种Source类型对我来说并不容易。这是惯用的还是有更好的方法来写这个？

Answer 1

实际上，b提供了直接从文件中读取的功能。

akka-streams

这里，FileIO.fromPath(Paths.get("a.csv")) .via(Framing.delimiter(ByteString("\n"), 256, true).map(_.utf8String)) .runForeach(println)方法是打印线条。如果您有适当的runForeach来处理这些行，请使用它而不是此函数。例如，如果要按Sink拆分行并打印其中的总字数：

Answer 2

使用Akka Streams读取CSV文件的惯用方法是使用Alpakka CSV connector。以下示例读取CSV文件，将其转换为列名称的地图（假定为文件中的第一行）和ByteString值，将ByteString值转换为String值，并打印每一行：

FileIO.fromPath(Paths.get("a.csv"))
  .via(CsvParsing.lineScanner())
  .via(CsvToMap.toMap())
  .map(_.mapValues(_.utf8String))
  .runForeach(println)

Answer 3

是的，没关系，因为这些是不同的Source。但如果您不喜欢scala.io.Source，您可以自己阅读文件（有时我们必须这样做，例如源csv文件已压缩），然后使用给定的InputStream解析它

StreamConverters.fromInputStream(() => input)
  .via(Framing.delimiter(ByteString("\n"), 4096))
  .map(_.utf8String)
  .collect { line =>
    line
  }

话虽如此，考虑将Apache Commons CSV与akka-stream一起使用。您最终可能会编写更少的代码：）

Answer 4

尝试一下：

package ru.io

import java.nio.file.Paths

import akka.actor.ActorSystem
import akka.stream.ActorMaterializer
import akka.stream.scaladsl._
import akka.util.ByteString

import scala.concurrent.Await
import scala.concurrent.duration._

object ReadStreamApp extends App {
  implicit val actorSystem = ActorSystem()
  import actorSystem.dispatcher
  implicit val flowMaterializer = ActorMaterializer()

  // читать строки из файла журнала
  val logFile = Paths.get("src/main/resources/a.csv")

  val source = FileIO.fromPath(logFile)

  // анализировать фрагменты байтов в строки
  val flow = Framing
    .delimiter(ByteString(System.lineSeparator()), maximumFrameLength = 512, allowTruncation = true)
    .map(_.utf8String)

  val sink = Sink.foreach(println)

  source
    .via(flow)
    .runWith(sink)
    .andThen {
      case _ =>
        actorSystem.terminate()
        Await.ready(actorSystem.whenTerminated, 1 minute)
    }
}

使用Akka Streams读取CSV文件

4 个答案: