标签： deep-learning lstm data-mining text-mining recurrent-neural-network
我训练了一个LSTM模型，该模型给出了N个字符的历史记录，可以预测下一个字符。换句话说，这是一个字符级文本生成器。
由于这是一个字符级模型，所以我想知道它是否可以用于定义所学语言的词汇。我可以找到语料库中存在的单词吗，例如在模式挖掘中？
我曾考虑过让模型通过提供初始状态和一些随机输入来生成单词，然后继续运行直到它预测出空格或任何其他终止字符，但是我正在寻找一种更好的方法，因为它不会表现很好。而且，我不想依赖终止字符之类的标准，因为我希望对单词挖掘任务进行完全无人监督。