Question

这是我大学的一项任务，我必须使用Python 2.7.10编写一个基本的搜索引擎。

我的搜索引擎需要查看计算机上某个文件夹中的文档集合，打开它们，删除一些标点符号，使所有内容都小写，并为文档中的每个标记创建一个倒排索引。索引将存储为字典，其中键作为标记，值作为包含标记的文档列表。示例：标记“æble”可在文档1，文档2和文档5中找到。然后，用户应该只能输入一个单词，然后程序应该获得包含该单个单词的文档列表。

我使用os，编解码器和sys模块。

首先，我想定义我的功能。我已经开始定义程序将用于打开文档的功能，同时将其设置为小写。稍后将在程序中通过raw_input指定路径。

def open_doc(path):
    docfile = codecs.open(path, 'r', encoding='utf-8')
    doclist = docfile.read().lower().split()
    docfile.close()
    return doclist

然后，我有我的函数来标记我将应用于用户查询的单个单词。

def tokenize(word):
    tokenword = word.strip(',.-?!=()')
    return tokenword

现在，更加令人信服。在这里，我尝试将我的标记化功能附加到包含不同文档的字典。

def tokedict(dict):
    tokenizeddict = {}
    for key in dict:
        tokenizeddict[key] = []
        for item in dict[key]:
            tokenizeddict[key].append(tokenize(item))
    return tokenizeddict

现在，我有一个应该反转我的索引的函数。这些值将变为键，键变为值。

def invert_dict(d):
    inverse = dict()
    for key in d:
        val = d[key]
        if val not in inverse:
            inverse[val] = [key]
        else:
            inverse[val].append(key)
    return inverse

我认为这符合预期。

所以，这是我的主程序必须要调用的主要功能。当用户打开程序时，系统将提示用户选择存储文档的文件夹的路径，以便定义名为“path”的变量。

path = raw_input('please specify the path to the folder you would like to search in: ')

然后，程序将为索引创建一个字典，该字典将使用上述函数创建。

首先，空索引

index = dict()

然后该函数用所选路径中的文档填充索引。

for document in os.listdir(path):
    index[str(document)] = open_doc(path+document)

这基本上就是我到现在为止所做的。我有点坚持这个计划。我有一个搜索功能，由于某种原因，即使这样也无法正常工作。

如下：

def User_search():
    searchword = raw_input('Please type 1 word to search for: ')
    searchword = searchword.lower()
    searchword = searchword.strip(',.!?()=')
    return searchword

所以，我现在的最后一个问题是：我如何连接这些部分，最终得到一个程序，它将执行以下这些功能：

按用户指定的路径扫描文件夹 Tokenize并使文件夹中的文档内容小写 - 制作倒排索引 - 让用户首先选择文件夹的路径;然后让用户输入搜索词 - 按正确的顺序调用函数 - 给出一个包含（包含某种）包含搜索词的文档列表的结果。

我想，最终的功能将是这样的：

for key in inverse:
    if searchword in key
        print 'Your searchword' + searchword + 'has been found in the following documents' + value
    if searchword not in key
        print 'no documents have been found containing your searchword'

但这只是一个想法。

我期待收到各种帮助。我只花了一个多小时来输入这个问题，所以我希望你能很容易理解。如果没有，我会尽力澄清。

最诚挚的问候

Answer 1

您的语法错误：

tokenizeddict[key].append(tokenize(item)

是因为你最后错过了一个括号。应该是：

tokenizeddict[key].append(tokenize(item))

同时＆＃34; dict＆＃34;是python类型，不是一个合适的变量名 - 我肯定会重命名它。

您因此而获得builtin_function_or_method has no attribute 'strip'：

searchword = searchword.lower

您只是访问该方法，而不是实际调用它。你想做的事：

searchword = searchword.lower()

我希望这会有所帮助。未来的FYI将这个问题分解为关于特定错误的个别问题会更合适。如果您想在解决这些错误后整体讨论您的程序，请查看CodeReview。

基本的本地搜索引擎 - Python

1 个答案: