背景

Question

背景

有两个文件，名称分别为alertfile和eventfile。

此文件对位于多个文件夹中（如下所示），每个文件对具有不同的内容。

识别文件对名称不同于其他文件对的唯一方法是通过文件夹结构将它们放置在其中。

在Linux中，始终使用python文件api以只读模式打开文件。

关于内容，一个文件对与其他文件对没有关系。

不知道文件夹结构的深度。

（未知）文件夹名称。

每个文件夹可能没有这些文件对。某些文件夹可能只有具有这些文件对的子文件夹。因此，文件夹可以为空。

每个文件对的大小均为KB，是静态文件。

root_folder
 |
 |
 +---folder1
 |       | 
 |       |___ alertfile
 |       |___ eventfile
 |
 +---folder2
 |       |
 |       |___ alertfile
 |       |___ eventfile
 |       |
 |       +--- folder_2_1
 |            |
 |            |___alertfile
 |            |___eventfile
 |            |
 |            +---folder_2_1_1
 |                |
 |                |___alertfile
 |                |___eventfile
 |          
 |      
 +---folder3
 |       |
 |       |___ alertfile
 |       |___ eventfile
 |
 +---folder4
 |       |
 |       +---folder4_1
 |             |
 |             |____ alertfile
 |             |____ eventfile
 |             |
 |             +---folder4_1_1(empty) 
 :
 :
 :

目标

出于不同的目的，需要访问不同代码区域中所有这些文件对的内容。

程序是服务器程序...维护这些文件对集合的缓存...

1）我应该使用哪种数据结构来有效地访问这些文件对？实际解析这些文件对中的内容...。出于多种原因

2）在一对数据结构中拥有每个文件对的内容是否更快？并以文件夹路径为键。

3）在创建缓存之前，文件读取可以是多线程的吗？因为python GIL允许IO绑定的线程交错。.

Answer 1

我建议使用嵌套的字典来缓存alertfile和eventfile对。由于一个文件夹可能包含或可能不包含文件对，因此在包含文件夹时，应使用'.'键将文件对的字典存储在此文件夹中，如下所示：

cache = {
    '.': {'alertfile': 'alert content', 'eventfile': 'event content'},
    'hello': {
        'foo': {'.': {'alertfile': 'alert content', 'eventfile': 'event content'}},
        'bar': {'.': {'alertfile': 'alert content', 'eventfile': 'event content'}}
    },
    'world': {
        'aloha': {
            '.': {'alertfile': 'alert content', 'eventfile': 'event content'},
            'hi': {'.': {'alertfile': 'alert content', 'eventfile': 'event content'}},
            'hey': {'.': {'alertfile': 'alert content', 'eventfile': 'event content'}}
        }
    },
    'empty': {}
}

这是一个递归函数，它扫描给定目录，读取其中的任何文件对，并返回上述数据结构中的字典。

from os import listdir
from os.path import isdir, join

def scan_files(dir):
    cache = {}
    for name in listdir(dir):
        path = join(dir, name)
        if isdir(path):
            cache[name] = scan_files(path)
        elif name in ('alertfile', 'eventfile'):
            with open(path, 'r') as file:
                cache['.'][name] = file.read()
    return cache

如果希望加快处理速度，可以将上面for循环内的块放入线程池中。

或者，如果您希望将文件缓存在平面字典中，则可以使用os.walk来循环遍历整个目录。

import os
def scan_files(dir):
    cache = {}
    for root, dirs, files in os.walk(dir):
        for name in files:
            if name in ('alertfile', 'eventfile'):
                path = os.path.join(root, name)
                with open(path, 'r') as file:
                    cache[path] = file.read()
    return cache

维护一对文件的数据结构

背景

目标

1 个答案: