scala中的线程安全进度指示器

时间:2013-08-02 08:40:10

标签: scala parallel-processing progress-bar

scala中的

想象你有一个很长的列表并且你映射了一个对每个元素进行独立操作的函数:

val myList = List(....)
def fct(...) = {...}

myList.map(elem => fct(elem))

由于fct仅使用val和不可变操作,因此可以轻松地将其并行化

myList.par.map(elem => fct(elem))

使用for

for(elem <- myList) {
    fct(elem)
}

我的问题是如何在命令中包含一种进度条,以显示我们在列表中的级别。 我想到了类似的东西:

var i = o 

在循环之前和内部

i += 1
print(i + (" "*100) + "\r") 

但这会破坏并行化的可能性。

1 个答案:

答案 0 :(得分:6)

一种方法是使用原子整数或长整数,取决于集合的大小,以使线程安全:

def trackProgress[T](fn:T => Unit, xs: collection.parallel.ParSeq[T]) {
  val total = xs.length
  val done = new java.util.concurrent.atomic.AtomicInteger()
  xs.foreach { x =>
    fn(x)
    val curDone = done.incrementAndGet()
    println("%s%% done".format(curDone.floatValue / total * 100))
  }
}

trackProgress(fct, myList.par)