如何从StringTokenizer获取分隔符？

Question

StringTokenizer tokenizer = new StringTokenizer(s, " ,.:;?![]'");

有没有办法同时检索分隔符，在这种情况下是所有的标点符号？

例如，“这是一个测试，也是一个测试？”

我希望标记化的结果还包括两个标记，以及？

这可能吗？

Answer 1

StringTokenizer有一个重载的构造函数，它接受第三个boolean参数。将其设置为true将使tokenzier也返回分隔符：

StringTokenizer tokenizer = new StringTokenizer(s, " ,.:;?![]'", true);
// Here ---------------------------------------------------------^