OpenMP加上对unordered_map <string,double>的缩减

时间:2018-10-18 03:18:25

标签: c++ parallel-processing openmp

我想并行化一个for循环,在其中更新unordered_map的值:

unordered_map<string,double> umap {{"foo", 0}, {"bar", 0}};

#pragma omp parallel for reduction(my_reduction:umap)
for (int i = 0; i < 100; ++i)
{
    // some_string(i) would return either "foo" or "bar"
    umap[some_string(i)] += some_double(i);
}

因此,将不会在unordered_map中创建新条目,而仅对现有条目进行总和更新。

In this answer对于矢量,定义了用户声明的折减。在unordered_map的情况下,是否可以类似地定义用户声明的减少量?

1 个答案:

答案 0 :(得分:2)

可以使用与您链接的答案中所采用的方法类似的方法来完成此操作。我们面临的一个问题是std::transform在地图上使用了不幸的一行。

//GCC version, but the documentation suggests the same thing. 
*__result = __binary_op(*__first1, *__first2); 

由于映射存储类型为std::pair<const T1, T2>(即第一个必须始终为const,因此您不能修改键),这将导致错误,因为在这种情况下operator=被删除了。 / p>

由于这个原因,我们最终不得不自己编写整个内容(以下答案可以变得更简洁,我只是对您的类型进行了硬编码...)。

我们可以从std::transformlook at example implementation 2)的示例开始,然后修改有问题的部分,但是@Zulan在注释中提出了一个很好的观点,即同时遍历无序映射可能不是一个好主意(因为按照定义,它们是无序的)。尽管复制构造函数保留顺序在某种意义上似乎可行,但似乎标准并不能保证(至少我在任何地方都找不到),因为std::transform采取的这种方法变得毫无用处。

我们可以通过稍有不同的减少来解决此问题。

#include <unordered_map>
#include <string>
#include <iostream>
#include <utility>

void reduce_umaps(\
    std::unordered_map<std::string, double>& output, \
    std::unordered_map<std::string, double>& input)
{
    for (auto& X : input) {
      output.at(X.first) += X.second; //Will throw if X.first doesn't exist in output. 
    }
}

#pragma omp declare reduction(umap_reduction : \
    std::unordered_map<std::string, double> : \
    reduce_umaps(omp_out, omp_in)) \
    initializer(omp_priv(omp_orig))

using namespace std;

unordered_map<string, double> umap {{"foo", 0}, {"bar", 0}};

string some_string(int in) {
    if (in % 2 == 0) return "foo";
    else return "bar";
}

inline double some_double(int in) {
    return static_cast<double>(in);
}

int main(void) {
#pragma omp parallel for reduction(umap_reduction:umap)
for (int i = 0; i < 100; ++i) {
        umap.at(some_string(i)) += some_double(i);
    }
    std::cerr << umap["foo"] << " " << umap["bar"] << "\n";
    return 0;
}

您还可以对此进行概括,以允许在并行循环中添加键,但是除非添加的键数保持比增加值的次数小得多的方式,否则这不能很好地并行化。

最后一点,我用umap[some_string(i)]替换了umap.at(some_string(i)),以避免像注释中建议的那样意外添加元素,但是find不是最实用的功能这个目的。