Question

我遇到FS2和异常处理问题。我想要的是，给定Stream[IO,A]，当我使用可以抛出异常的f: A => B对其进行映射时，我获得Stream[IO,Either[Throwable,B]]。

我尝试了以下操作，它按预期工作：

import cats.effect.IO
val x1 = fs2.Stream.emits(Vector(1,2,3,4)).covary[IO]
  .map(x => x * x)
  .map{ i => if(i == 9) throw new RuntimeException("I don't like 9s") else i}
  .attempt
x1.compile.toVector.unsafeRunSync().foreach(println)

打印：

Right(1)
Right(4)
Left(java.lang.RuntimeException: I don't like 9s)

然而，当我尝试对Stream做任何事情时，我的问题就开始了。

val x1 = fs2.Stream.emits(Vector(1,2,3,4)).covary[IO]
  .map(x => x * x)
  .map{ i => if(i == 9) throw new RuntimeException("I don't like 9s") else i}
  .attempt.map(identity)

x1.compile.toVector.unsafeRunSync().foreach(println)

爆发异常并杀死应用程序：

java.lang.RuntimeException: I don't like 9s
    at swaps.fm.A$A32$A$A32.$anonfun$x1$2(tmp2.sc:7)
    at scala.runtime.java8.JFunction1$mcII$sp.apply(tmp2.sc:8)
    ...

即使更奇怪，使用take让Stream仅返回我知道可以正常运行的元素，仍然会以同样的方式爆炸：

val x1 = fs2.Stream.emits(Vector(1,2,3,4)).covary[IO]
  .map(x => x * x)
  .map{ i => if(i == 9) throw new RuntimeException("I don't like 9s") else i}
  .attempt.take(2)

x1.compile.toVector.unsafeRunSync().foreach(println)

有人可以澄清为什么会这样吗？这是一个错误还是（非）预期的行为？

N.B。此行为出现在FS2 0.10.0-M7 和 0.10.0

Answer 1

问题似乎在这里：

self
 .stage(depth.increment, defer, o => emit(f(o)), os => {
   var i = 0; while (i < os.size) { emit(f(os(i))); i += 1; }

这是Segment.map内的代码。使用以下命令分配矢量时：

Stream.emits(Vector(1,2,3,4))

fs2将分配一个段。查看map上方的代码，os.size表示段的大小，这意味着，map将始终映射整个段大小。这意味着即使您问take(2)，我们仍然有效地映射整个细分。

我们可以通过稍微更改代码来证明这一点：

def main(args: Array[String]): Unit = {
  val x1 = fs2.Stream
    .emits(Vector(1, 2, 3, 4))
    .segmentLimit(1)
    .covary[IO]
    .map { seg =>
      if (seg.sum.force.run > 3) throw new RuntimeException("I don't like 9s")
      else seg
    }
    .attempt
    .take(2)

println(x1.compile.toVector.unsafeRunSync())

这里的重要部分是segmentLimit，它使流内部数据流入大小为1的段。当我们运行此代码时，我们得到：

Vector(Right(Chunk(1)), Right(Chunk(2)))

这是一个错误吗？不确定。我要咨询Gitter频道的维护人员。

Answer 2

这里的问题是要使用fs2，您必须编写纯代码。引发异常并非纯粹，因此，如果您希望管道中的某个步骤可能会失败，则需要使其明确。这有两种方式：

import cats.effect.IO
val x1 = fs2.Stream.emits(Vector(1,2,3,4)).covary[IO]
  .map(x => x * x)
  .map{ i => if(i == 9) Left[Throwable, Int](new RuntimeException("I don't like 9s")) else Right(i)}
x1.compile.toVector.unsafeRunSync().foreach(println)
// Explicit Left annotation is so you can .rethrow if desired; it can be omitted or added later with .widen

OR

import cats.effect.IO
val x1 = fs2.Stream.emits(Vector(1,2,3,4)).covary[IO]
  .map(x => x * x)
  .flatMap { i => if(i == 9) Stream.raiseError(new RuntimeException("I don't like 9s")) else Stream.emit(i) }
  .attempt
x1.compile.toVector.unsafeRunSync().foreach(println)

其中第一个是更可取的，因为flatMap和emit将导致大小为1的块，通常效率较低。如果要在出现第一个错误时停止处理，请在流的末尾添加一个.rethrow。

FS2 Stream异常处理无法正常工作

2 个答案: