我正在查看是否已经有一个javascript库可用于多语言语言(特别是非拉丁语言)的标记化,类似于dkpro https://dkpro.github.io/dkpro-core/releases/1.9.3/docs/component-reference.html#engine-IcuSegmenter提供但作为javascript提供的ICU Segmenter。库。
主要要求是用户需要即时反馈以特定语言输入的令牌数量。我们可以使用dkpro ICU分段器创建后端服务。但这会增加用户反馈的等待时间,而且不会是瞬时的。
欢迎任何提示或建议。