Question

我有一个std::unordered_map<std::string, int64_t> sMap类型的unordered_map。这包含许多字符串和与每个字符串相关联的“权重”。我想找到N个最大权重的字符串。

如果我想使用单个线程执行此操作，我想我可以创建像这样的对的优先级队列

std::priority_queue<
    std::pair<std::string, int64_t>,
    std::vector<std::pair<std::string, int64_t>>,
    std::function<bool(std::pair<std::string, int64_t>&,
            std::pair<std::string, int64_t>&)>> prQ(comparePair);

然后浏览整个unordered_map，在保持长度N的同时将元素插入prQ。

我希望使用多个线程来实现相同的功能。我正在考虑分配每个线程来处理unordered_map的一些元素，以创建一个长度为N的本地优先级队列，可以在最后合并为一个全局队列。

我现在面临的问题是我从unordered_map :: begin（）获得的迭代器不能与+运算符一起使用。至少那是我得到的错误： error: no match for ‘operator+’ (operand types are ‘std::unordered_map<std::basic_string<char>, long int>::iterator {aka std::__detail::_Node_iterator<std::pair<const std::b asic_string<char>, long int>, false, true>}’ and ‘int’) 因此，我无法真正指定特定线程要处理的一系列元素。 []运算符将按预期获取密钥，而不是偏移量。

基本上，我似乎无法找到一种方法来建立一个数据并行循环，每个线程只需几个元素。那么如何使用多个线程来解决这个问题呢？

编辑：@Brian Vandberg让我提供一个简化的代码示例，该代码生成我正在讨论的错误。

std::unordered_map<std::string, int64_t> sMap;
//Initialize sMap values
int start = 0, end = 2;
for(auto i = sMap.begin() + start; sMap.begin() + end; ++i) {
    std::cout<<i->first<<"\t"<<i->second<<"\n";
}

Answer 1

首先，我不确定我是否会使用优先级队列来解决此问题（单线程或由特定线程执行的部分）。标准库具有nth_element，您可以使用它在线性时间中查找 n 元素。接下来，找出哪些元素更大也是线性时间。

如果速度是问题，您可以考虑这个问题，如果尺寸有问题，您可以考虑这个问题（nth_element将有效地强制您创建数据副本）。在此解决方案中，您迭代地图（或部分地图），并push_back仅将权重转换为vector，您执行nth_element。在第二阶段，再次在地图上循环，选择重量较高的那些。

假设您有循环：

std::size_t j = 0;
for(const auto &e: sMap)
{
    if(++j % k != i)
        continue;
    // Rest of code goes here.
}

然后，如果您将 i 线程用于 k ，它将在线程之间对元素进行分区。而且，虽然所有线程都在迭代相同的元素（如果只是跳过其中的大部分），但它并行发生。

每个线程都可以生成最大 m 元素的候选者，然后使用上述方法从 km 候选者中选择最大的 m 元素（使用nth_element）或任何其他方法。

有趣的是，sMap的大小会在实践中产生任何加速。

与C ++的并行性unordered_map

1 个答案: