Question

我是scala的新手，也是scalaz的新手。通过一个不同的stackoverflow答案和一些手持，我能够使用scalaz.stream来实现一个不断获取twitter API结果的Process。现在我想为存储twitter句柄的Cassandra DB做同样的事情。

获取推特结果的代码如下：

def urls: Seq[(Handle,URL)] = {
 Await.result(

   getAll(connection).map { List =>
      List.map(twitterToGet =>
   (twitterToGet.handle, urlBoilerPlate + twitterToGet.handle + parameters + twitterToGet.sinceID)
   )
  },
    5 seconds)

}

val fetchUrl = channel.lift[Task, (Handle, URL), Fetched] {
  url => Task.delay {

    val finalResult = callTwitter(url)
    if (finalResult.tweets.nonEmpty) {
      connection.updateTwitter(finalResult)
    } else {
      println("\n" + finalResult.handle + " does not have new tweets")
    }
    s"\ntwitter Fetch & database update completed"

  }
}

val P = Process
val process =
  (time.awakeEvery(3.second) zipWith P.emitAll(urls))((b, url) => url).
    through(fetchUrl)

val fetched = process.runLog.run
fetched.foreach(println)

我打算做的是使用

def urls: Seq[(Handle,URL)] = {

连续获取Cassandra结果（使用awakeEvery）并将它们发送给actor以运行上面的twitter获取代码。

我的问题是，使用scalaz.stream实现此功能的最佳方法是什么？请注意，我希望获得所有数据库结果，然后在再次获取所有数据库结果之前有一个延迟。我应该使用与上面的Twitter获取代码相同的架构吗？如果是这样，我将如何创建一个不需要输入的channel.lift？在scalaz.stream中有更好的方法吗？

提前致谢

Answer 1

今天有这个工作。最干净的方法是将数据库结果作为流发出，并将接收器附加到流的末尾以进行twitter处理。我实际拥有的东西有点复杂，因为它不断检索数据库结果并将它们发送给一个演员进行twitter处理。检索结果的样式遵循我的问题中的原始代码：

val connection = new simpleClient(conf.getString("cassandra.node"))

implicit val threadPool = new ScheduledThreadPoolExecutor(4)
val system = ActorSystem("mySystem")
val twitterFetch = system.actorOf(Props[TwitterFetch], "twitterFetch")

  def myEffect = channel.lift[Task, simpleClient, String]{
    connection: simpleClient => Task.delay{

      val results = Await.result(
        getAll(connection).map { List =>
          List.map(twitterToGet =>
            (twitterToGet.handle, urlBoilerPlate + twitterToGet.handle + parameters + twitterToGet.sinceID)
          )
        },
        5 seconds)

      println("Query Successful, results= " +results +" at " + format.print(System.currentTimeMillis()))

      twitterFetch ! fetched(connection, results)
      s"database fetch completed"
    }
  }

  val P = Process
  val process =
    (time.awakeEvery(3.second).flatMap(_ => P.emit(connection).
      through(myEffect)))

  val fetching = process.runLog.run
  fetching.foreach(println)

一些注意事项：

我曾经问过没有输入的使用channel.lift，但很明显输入应该是cassandra连接。

该行

val process =
(time.awakeEvery(3.second).flatMap(_ => P.emit(connection).
  through(myEffect)))

从zipWith更改为flatMap，因为我想连续检索结果而不是一次。

使用scalaz.stream持续获取数据库结果

1 个答案: