Boost.Tokenizer如何不从标记中删除分隔符

Question

是否有可能不删除字符，char_separators＆lt;＆gt; for boost :: tokenizer＆lt;＆gt;？

如果是，该怎么做？

我想将字符串“[a] str1 [/ a] [b] str2 [/ b]”标记为：

[a]，str1，[/ a]，[b]，str2，[/ b]

我的分隔符是字符：“＆lt;”和“＆gt;”，默认情况下将其删除。

Answer 1

根据documentation，char_separator的构造函数有3个参数：const Char* dropped_delims，const Char* kept_delims，empty_token_policy empty_tokens。

只需将您的分隔符字符传递给kept_delims而不是dropped_delims（即作为第二个参数）。它们将作为单独的令牌返回。