简单的C ++标记器

时间:2018-08-31 12:56:19

标签: c++ tokenize

我正在为HackerRank上的挑战编写程序,我需要解析HRML,这是一种类似于HTML的标记语言:

<tag1 value = "Hello World"></tag1>

作为程序的一部分,我有一个函数,应该使用字符串标记填充字符串向量。可以很好地配合标签使用,但是我还需要标记查询,其格式如下:

tag1.tag2.tag3~attribute_name

该函数的行为就像字符串迭代器在遇到波浪号后停止前进。 这是代码:

#include<iostream>
#include<string>
#include<vector>
using namespace std;

void tokenize_string(vector<string>& vector, string str)
{
    string current_token;

    for (auto i = str.begin(); i != str.end(); i++)
    {

        if (isalnum(*i))
        {
            current_token += *i;
        }
        else
        {
            //We extracted a token
            vector.push_back(current_token);
            current_token = "";
        }
    }

    //Remove empty strings that the previous loop placed into the vector
    for (auto i = vector.begin(); i != vector.end(); i++)
    {
         if (*i == "")
        {
            vector.erase(i);
            i = vector.begin();
        }
    }
} 
int main()
{
    //A simple test
    vector<string> tag_tokens;
    vector<string> query_tokens;

    tokenize_string(tag_tokens, "<tag1 name=\"Hello\">");
    tokenize_string(query_tokens, "tag1.tag2.tag3~name");

    for (auto it = tag_tokens.begin(); it != tag_tokens.end(); it++)
    {
        cout << *it << ' ';
    }
    cout << '\n';
    for (auto it = query_tokens.begin(); it != query_tokens.end(); it++)
    {
        cout << *it << ' ';
    }
    cout << '\n';
    cin.get();
    return 0;
}

2 个答案:

答案 0 :(得分:0)

这是因为您未考虑到达输入字符串末尾的最后一个标记 i != str.end()
在如下所示的for循环之后添加vector.push_back(current_token);,以考虑最后一个令牌。

void tokenize_string(vector<string>& vector, string str)
{
    string current_token;

    for (auto i = str.begin(); i != str.end(); i++)
    {

        if (isalnum(*i))
        {
            current_token += *i;
        }
        else
        {
            //We extracted a token
            vector.push_back(current_token);
            current_token = "";
        }
    }
                vector.push_back(current_token);   ///-------->pushes last token

    //Remove empty strings that the previous loop placed into the vector
    for (auto i = vector.begin(); i != vector.end(); i++)
    {
         if (*i == "")
        {
            vector.erase(i);
            i = vector.begin();
        }
    }
}

答案 1 :(得分:0)

这是另一种方法,需要更少的代码行:

void tokenize_string(
    std::vector< std::string >& output,
    const std::string& csv,
    const string& delimiters )
{
    for( char del : delimiters ) {
      std::stringstream sst(csv);
      std::string a;
      while( getline( sst, a, del) )
        output.push_back(a);
   }
}