我用python编写了一个聊天机器人，该机器人可以连接到不和谐，并且能够完成一些任务。任务之一是查询特定计算机游戏的资源列表，并返回所查询资源的详细位置。 现在，我希望将功能尽可能无缝地集成到聊天中。所以我认为我可以使用NLP技术。
举个例子： 用户1想知道他/她在哪里可以找到资源“木材”。因此，他/她在不和谐的聊天中问：“我在哪里可以找到木头？”
我的程序现在应该能够将该问题识别为对资源位置的有效查询，并以资源“ wood”的位置进行响应。
这可能涉及几个步骤：
我对编程并不陌生，但是对NLP还是陌生的。另外，我还是深度学习的初学者/已经使用tensorflow / keras开发了RNN模型。
对于这个项目，我发现了nltk和spaCy，它们都是用于NLP的python模块。我已经了解到文本分析由几个不同的工作组成，并不是我的项目可能对所有这些工作都感兴趣。但是似乎令牌化和pos标记都可能引起人们的兴趣。但是以某种方式，我正在努力寻找一种可行的方法来完成这项任务。它已经从如何识别文本消息是否实际上是一个问题开始了。我的研究表明，这是NLP库无法提供的功能，通常使用经过预先训练的深度学习模型对这样的句子进行分类。
到目前为止我的想法：
1）逐句分析每个聊天消息
对句子进行标记，使用词干，然后使用pos标记，然后迭代所有标记以找出是否：
? 2）使用某种匹配，例如spaCy基于规则的匹配
3）使用非NLP技术
如果其他所有事情都不可行/太复杂，我仍然可以提出一种硬编码方法，在该方法中，我将预定义几个问题类型，并在聊天消息中对它们的出现进行字符串搜索，然后尝试手动提取资源名称通过使用字符串操作。
这可能是最容易出错且最不灵活的解决方案，但我会保留它作为后备。
当然，我确实想实现一个尽可能灵活的解决方案，以便它可以检测各种形式和类型的问题，而无需事先对所有可能的问题类型进行硬编码。它应尽可能接近“机器人只了解聊天并回答问题”。
有人可以指导我寻求一个好的解决方案吗？ （不是要求完整的代码，而是要使用的技术/步骤/库）
也许作为旁注：在更高版本中，我想扩展功能。然后，其他用户可能会在不和谐聊天中命名资源的位置，并且如果该位置尚未包含，则漫游器应将该位置添加到其数据库中。因此，聊天对话可能看起来像：
User 1: Where can I find cryptonite?
User 2: It can be found in lex luthors lab
Bot: Shall I add "lex luthors lab" as location for resource "cryptonite"?
User 2: @bot: yes
Bot: Done.
答案 0 :(得分：1)
看来您基本上有一个意图 / 实体问题。
1）逐句分析每个聊天消息。 这可以通过意图分类解决。
2）使用某种匹配，例如基于spaCy规则的匹配 这可以通过实体提取来解决。
意图是对整个句子的分类。
例如，您可以有一个意图：find_resource。
然后，您将需要将示例句子分类为find_resource。
例如：
X = [
'Where can I find wood?',
'What is the location of wood?',
'Where do I find fire?',
'Give me the coordinates of lemons.',
'What is the best place to gather coal?',
'Do you know where I can find tomatoes?',
'Tell me a spot to collect wood.'
]
您可以训练神经网络来执行此分类任务，但是您可以首先尝试使用更简单的模型。好的机器学习库是scikit-learn，它提供了现成的传统机器学习分类方法。它还有一个feature_extraction.text子程序包，用于处理文本。
# Training data
## X is the sample sentences
X = [
'Where can I find wood?',
'What is the location of wood?',
'Where do I find fire?',
'Give me the coordinates of lemons.',
'What is the best place to gather coal?',
'Do you know where I can find tomatoes?',
'Tell me a spot to collect wood.',
'How can I level up strength?',
'How do I train woodcutting?',
'Where can I practice my swimming skill?',
'Can I become better in running?',
'Where can I train my woodcutting skill?'
]
## y is the intent class corresponding to sentences in X
y = [
'find_resource',
'find_resource',
'find_resource',
'find_resource',
'find_resource',
'find_resource',
'find_resource',
'improve_skill',
'improve_skill',
'improve_skill',
'improve_skill',
'improve_skill'
]
# Define the classifier
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import SGDClassifier
from sklearn.pipeline import Pipeline
clf = Pipeline(
[
('tfidf', TfidfVectorizer()),
('sgd', SGDClassifier())
]
)
## Train the classifier
clf.fit(X, y)
# Test your classifier
## New sentences (that weren't in X and your model never seen before)
new_sentences = [
'What are the coordinates of wood?',
'Where can I find paper?',
'How can I improve woodcutting?',
'Where can I improve my jumping skill?'
]
predicted_intents = clf.predict(new_sentences)
print(predicted_intents)
> ['find_resource' 'find_resource' 'improve_skill' 'improve_skill']
实体提取是在句子中查找特定子字符串的任务。可以是location，time，person_name等，也可以是resource_type。
典型的训练数据如下：
X = [
'Where can I find [wood](resource_type)?',
'What is the location of [wood](resource_type)?',
'Where do I find [fire](resource_type)?',
'How can I level up [strength](skill_type)?',
'Where can I train my [woodcutting](skill_type) skill?'
]
实际上spaCy提供了最先进的模型。它具有预先训练的实体类型，但也允许您使用自定义实体（在您的情况下为resource_type）对其进行扩展。
User 1: Where can I find cryptonite?
User 2: It can be found in lex luthors lab
Bot: Shall I add "lex luthors lab" as location for resource "cryptonite"?
User 2: @bot: yes
Bot: Done.
您可以将问题建模为：
意图：
X = [
'Where can I find cryptonite?'
'It can be found in lex luthors lab',
'yes'
]
y = [
'find_resource',
'provide_location',
'affirm'
]
实体：
X = [
'Where can I find [cryptonite](resource_type)?'
'It can be found in [lex luthors lab](location)',
'yes'
]
诀窍是让您弄清楚User 2是否确实回复了User 1。另外，您需要保持对话状态，但这取决于您使用的机器人框架。但是，这不再是NLP问题。