在c#中使用Regex在字符串上拆分标记

时间:2012-10-13 17:57:53

标签: c# regex split tokenize

我有一些“标记化”模板,例如(我称之为令牌双括号之间的部分):

var template1 = "{{TOKEN1}} is a {{TOKEN2}} and it has some {{TOKEN3}}";

我想从这句话中提取一个数组,以便有类似的东西:

Array("{{TOKEN1}}",
      " is a ",
      "{{TOKEN2}}", 
      " and it has some ", 
      "{{TOKEN3}}");

我尝试使用以下Regex代码实现这一目标:

Regex r = new Regex(@"({{[^\}]*}})");
var n = r.Split(template1);

结果是:

Array("",
      "{{TOKEN1}}",
      " is a ",
      "{{TOKEN2}}", 
      " and it has some ", 
      "{{TOKEN3}}",
      "");

第一个问题是我无法从句子中恢复令牌。我只是通过在Regex表达式上添加括号来解决这个问题,即使我不确定为什么它会解决这个问题。

我目前面临的问题是,当模板上的第一个和/或最后一个术语是“令牌”时,阵列的开头和/或末尾的额外空术词。为什么会这样?我做错了什么,或者我应该经常检查这两个位置是否空虚?

在我的代码中,我需要知道哪个术语来自一个令牌,哪个是模板上的固定位置。在这个解决方案中,我将检查每个数组的位置,以“{{”和“}}”开头的字符串,我不认为这是最好的可能性。所以,如果有人想出一个更好的解决方案来打破这些事情,我会很高兴知道!

谢谢!

编辑:根据要求,我将发布一个简单的示例,说明为什么我需要对令牌和文字进行区分。

public abstract class TextParts { }
public class TextToken : TextParts { }
public class TextConstant : TextParts { }

var list = new List<TextParts>();
list.Add( new TextToken("{{TOKEN1}}") );
list.Add( new TextConstant(" is a ") );
list.Add( new TextToken("{{TOKEN2}}") );
/* and so on */

这样,我将有一个组成我的字符串的部分列表,我将能够在我的数据库中记录它,以便将来进行操作和替换。实际上,这个TOKEN中的每个都将被正则表达式字符串替换。

目标是用户可以输入“{{SERVER}}没有正在侦听端口{{PORT}}”之类的消息,并且我将能够将“{{SERVER}}”替换为{ {1}}和“{{PORT}}”到[a-zA-Z0-9 ]+。有意义吗?

我希望这会使帖子更清晰。

2 个答案:

答案 0 :(得分:5)

如果沿分隔符拆分字符串,并且字符串以分隔符开头或结尾,则表示在第一个/最后一个分隔符之前/之后有一个空元素:

想象一下CSV文件中的以下行:

,a,b,c,

该CSV行包含元素"""a""b""c"""

您的{{TOKEN}}也会发生同样的事情。您可以使用其他方法:

MatchCollection allMatchResults = null;
Regex regexObj = new Regex(@"\{\{[^{}]*\}\}|[^{}]+");
allMatchResults = regexObj.Matches(subjectString);

如果在代币内或代币之间可能出现单个括号,您也可以使用

Regex regexObj = new Regex(@"\{\{(?:(?!\}\}).)*\}\}|(?:(?!\{\{).)+");
但是,由于所有前瞻性断言,

的效率会稍低,所以只有在需要时才应该使用它。

编辑:我刚注意到你的帖子中还有另一个问题:为什么你需要在你的正则表达式周围添加括号以使其“正常”?答:通常,split()命令仅返回分隔符之间的内容。如果将分隔符(或其中的部分)括在捕获括号中,那么这些括号内匹配的内容也将添加到结果列表中。

答案 1 :(得分:0)

尝试这种模式,它会将你的标记作为匹配。

\b*\{{2}\w+\}{2}\b*