用于NLP的MITIE库

时间:2017-10-03 09:23:18

标签: python neural-network nlp rasa-nlu

我试图了解MITIE如何与Rasa集成。我想知道整个MITIE文件total_word_feature_extractor.dat包含什么?我没有找到任何关于此的好文档。

谢谢!

1 个答案:

答案 0 :(得分:3)

如果你在Github上的MITIE repo深入探究,你可以找到答案。例如,这里有关于该文件内容的bit of information

  

至于内部是什么,是的,它是基于本文中的两步CCA方法的word2vec的变体:http://icml.cc/2012/papers/763.pdf。我还将其升级为包含与CCA方法类似的内容,但通过分析其形态以生成单词向量来处理样本单词。这显着改善了包含许多不在原始字典中的单词的数据集的结果。

就MITIE如何整合到Rasa而言,它是Rasa的few backend choices之一。它提供few pipeline components,可以同时进行意图分类和NER。两者都使用SVM并使用total_word_feature_extractor.dat来提供单个单词向量。