Bigrams作为C ++中的映射键

时间:2016-10-30 15:03:27

标签: c++

好吧,所以我想知道如何从两个字符串(一个二元组)创建一个地图密钥。例如,“这只是一个测试”这一行。将包含bigrams“this is”,“only only”,“only a”和“a test”。

我正在考虑使用make_pair,但是有些东西告诉我这可能导致这些bigrams无序创建。会是这种情况吗?如果没有,这种配对方法是否会走上正轨?

1 个答案:

答案 0 :(得分:1)

我推荐std::pair,因为它本身就是二进制的。如果你有机会需要三卦或4克,你可能想要坚持std::tuple,这是std::pair的概括(非正式地说)。

只要您的二元组算法正确,订单就会被保留。可以做出一些明显的改进,但我在这里写了一个快速的实现:

#include <iostream>
#include <vector>
#include <string>
#include <iterator>
#include <map>
#include <sstream>
#include <utility>

std::vector<std::string> tokenize(const std::string& s) {
    std::istringstream iss(s);

    std::vector<std::string> v{std::istream_iterator<std::string>(iss),
                               std::istream_iterator<std::string>()};
    return v;
}

std::vector<std::pair<std::string, std::string>> make_bigrams(const std::vector<std::string>& tokens) {
    std::vector<std::pair<std::string, std::string>> bigrams;
    for(auto it = std::cbegin(tokens); it != std::prev(std::cend(tokens)); ++it) {
        bigrams.push_back(std::make_pair(*it, *std::next(it)));
    }
    return bigrams;
}

std::vector<std::pair<std::string, std::string>> sentence_bigram(const std::string& s) {
    const auto toks = tokenize(s);
    return make_bigrams(toks);
}

int main() {
    const auto& bigrams = sentence_bigram("hello, world. my name is erip");
    std::map<std::pair<std::string, std::string>, int> m;
    for(const auto& e: bigrams) {
       std::cout << "Adding (" << e.first << "), (" << e.second << ") to the map.\n";
       m[e] = 0;
    }
} 

您可以在行动here中看到它。