我希望在一个相当简单的情况下用Rayon's iter()
替换par_iter()
,但我没有这样做。
上一段代码:
indexes_to_increment
.iter()
.for_each(|x| self.some_data[*x as usize] += 1);`
这是人造丝修改过的代码:
extern crate rayon;
use rayon::prelude::*;
fn main() {
let mut a = SomeStruct::new(vec![1, 0, 0, 1]);
a.add_factor_indexes(&vec![1, 2]);
println!("{:?}", a); // spits out "SomeStruct { some_data: [1, 1, 1, 1] }"
}
#[derive(Debug)]
struct SomeStruct {
some_data: Vec<u8>,
}
impl SomeStruct {
fn new(some_data: Vec<u8>) -> SomeStruct {
SomeStruct { some_data }
}
fn add_factor_indexes(&mut self, indexes_to_increment: &[u8]) {
//indexes_to_increment.iter().for_each(|x| self.some_data[*x as usize] += 1);
indexes_to_increment
.par_iter()
.for_each(|x| self.some_data[*x as usize] += 1);
}
}
虽然我知道以下错误消息告诉我该怎么做,但此时我无法这样做。
error[E0387]: cannot borrow data mutably in a captured outer variable in an `Fn` closure
--> src/main.rs:23:27
|
23 | .for_each(|x| self.some_data[*x as usize] += 1);
| ^^^^^^^^^^^^^^
|
help: consider changing this closure to take self by mutable reference
--> src/main.rs:23:23
|
23 | .for_each(|x| self.some_data[*x as usize] += 1);
| ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
如果我知道indexes_to_increment
中的add_factor_indexes
向量只包含唯一的u8
并且可以替换为一组,那会改变什么吗?
答案 0 :(得分:5)
此错误消息是完全 Rust旨在为您提供的错误预防类型的示例。换句话说,编译器阻止您同时可变地访问同一块内存。
从概念上讲,你试图运行的代码应该是安全的,因为你总是访问一个完全不相交的向量,不会有相同索引的任何重叠的可变借用,但是编译器无法分辨。它只看到self.some_data
被多次借用;它不知道Index
的实现是什么或关闭的主体做了什么。
你可以找到向量中所有匹配的插槽,然后迭代所有结果:
fn add_factor_indexes(&mut self, indexes_to_increment: &[u8]) {
self.some_data
.par_iter_mut()
.enumerate()
.filter(|&(i, _)| indexes_to_increment.contains(&(i as u8)))
.map(|(_, v)| v)
.for_each(|x| *x += 1);
}
可以用套装替换
我推荐它,因为重复查找,如果它有更多的数据。
答案 1 :(得分:1)
当线程不共享非常量数据时,人造丝效果最佳。例如,如果传递给par_iter
的每个闭包只对其自己的数据进行操作,并且在最后一步中将它们重新组合在一起,则Rayon不会抱怨。 (谷歌MapReduce是这个战略的一个流行的例子,可以很好地扩展到云系统。)
除了Shepmaster提供的解决方案之外,修复代码的简单方法是从Vec<u8>
切换到Vec<AtomicUsize>
,并使用fetch_add
方法增加索引。由于fetch_add
接受了共享引用,Rayon将接受它并且它将执行您想要的操作。
extern crate rayon;
use rayon::prelude::*;
use std::sync::atomic::{AtomicUsize, Ordering};
fn main() {
let mut a = SomeStruct::new([1, 0, 0, 1].iter()
.map(|n| AtomicUsize::new(*n as usize)).collect());
a.add_factor_indexes(&vec![1, 2]);
println!("{:?}", a);
}
#[derive(Debug)]
struct SomeStruct {
some_data: Vec<AtomicUsize>,
}
impl SomeStruct {
fn new(some_data: Vec<AtomicUsize>) -> SomeStruct {
SomeStruct { some_data }
}
fn add_factor_indexes(&mut self, indexes_to_increment: &[u8]) {
indexes_to_increment
.par_iter()
.for_each(|x| {
self.some_data[*x as usize].fetch_add(1, Ordering::SeqCst);
});
}
}