标记化功能的等效类型是什么？

Question

tokenize函数列出向量中的所有令牌。我可以使用什么功能来显示所有类型？例如，在下面的代码中，我该使用什么函数仅显示向量 ex 中的a，b，c（每个一次）？

ex <- c("a","b","c","a","b")

tokenize(ex)

[[1]]
[1] "a"

[[2]]
[1] "b"

[[3]]
[1] "c"

[[4]]
[1] "a"

[[5]]
[1] "b"