Question

问题陈述：我们将MySQL DB表中特定模块的用户的所有传入请求参数作为一行添加（这是一个巨大的数据）。现在，我们想要设计一个进程，该进程将从该表中读取每条记录，并通过调用第三方API获得有关该用户请求的更多信息，之后它将把这个返回的元信息放在另一个表中。

当前尝试：

我正在使用Scala + Slick来执行此操作。由于要读取的数据很大，我想一次一行地读取该表并进行处理。我尝试使用slick + akka流，但是我得到的是java.util.concurrent.RejectedExecutionException＆＃39;

以下是我尝试的粗略逻辑，

implicit val system = ActorSystem("Example")
import system.dispatcher
implicit val materializer = ActorMaterializer()

val future = db.stream(SomeQuery.result)
Source.fromPublisher(future).map(row => {
        id = dataEnrichmentAPI.process(row)

}).runForeach(id => println("Processed row : "+ id))

dataEnrichmentAPI.process ：此函数进行第三方REST调用，并执行一些数据库查询以获取所需数据。这个数据库查询是使用＆＃39; db.run＆＃39;完成的。方法，它也等待它完成（使用等待）

如，

def process(row: RequestRecord): Int = {
   // SomeQuery2 = Check if data is already there in DB
   val retId: Seq[Int] = Await.result(db.run(SomeQuery2.result), Duration.Inf)
   if(retId.isEmpty){
         val metaData = RestCall()
         // SomeQuery3 = Store this metaData in DB
         Await.result(db.run(SomeQuery3.result), Duration.Inf)
         return metaData.id;      
   }else{
       // SomeQuery4 = Get meta data id 
      return Await.result(db.run(SomeQuery4.result), Duration.Inf)     
   }
 }

我正在使用阻止调用DB的这个异常。我不会想到我是否可以摆脱它，因为后续流程需要返回值才能继续。

阻止通话＆＃39;这个例外背后的原因是什么？解决这类问题的最佳做法是什么？

感谢。

Answer 1

我不知道这是不是你的问题（细节太少），但你永远不应该阻止。

说到最佳做法，我们async stages代替。如果不使用Await.result，这或多或少就是你的代码：

def process(row: RequestRecord): Future[Int] = {
   db.run(SomeQuery2.result) flatMap { 
      case retId if retId.isEmpty =>
        // what is this? is it a sync call? if it's a rest call it should return a future
        val metaData = RestCall() 
        db.run(SomeQuery3.result).map(_ => metaData.id)

      case _ => db.run(SomeQuery4.result)
   }
 }


Source.fromPublisher(db.stream(SomeQuery.result))
  // choose your own parallelism
  .mapAsync(2)(dataEnrichmentAPI.process)
  .runForeach(id => println("Processed row : "+ id))

通过这种方式，您将明确地和惯用地处理背压和并行。

尝试从不在生产代码中调用Await.result并且仅compose futures using map, flatMap and for comprehensions

面对使用Scala + Slick + MySQL + Akka + Stream的问题

1 个答案: