标签： parsing token tokenize multilingual
是否有工具（或类似工具）进行多（编程）语言标记化？因此输入应该是源代码文件，然后工具应该自动检测语言，标记文件并输出标记为xml / json /.../ p>