我正在用python构建NLP分类器，并希望为演示构建托管HTML页面。我想对示例文本进行测试以查看预测，这是通过标记化 text 然后在预测之前填充它在python中实现的。像这样：
tf.tokenizer.texts_to_sequences(text)
token_list = tf.tokenizer.texts_to_sequences([text])[0]
token_list_padded = pad_sequences([token_list], maxlen=max_length, padding=padding_type)
问题是我是javascript新手，所以javascript中是否存在像python中那样的标记化和填充方法？
答案 0 :(得分：1)
Javascript中没有原生的令牌化机制。
您可以使用Javascript库，例如natural或wink-tokenizer或wink-nlp。最后一个库会自动提取一些令牌的功能，这些功能可能对培训有用。
答案 1 :(得分：0)
js中没有像Python中那样的tf.tokenizer。
here描述了一个简单的js.tokenizer。一种更可靠的方法是使用universal sentence encoder
随附的令牌生成器