Question

constants.py

import os

BASE_PATH = os.path.abspath(os.path.dirname(__file__))
INPUT_PATH = os.path.join(BASE_PATH, 'input')
FILE_INPUT1_PATH = os.path.join(INPUT_PATH, 'input1.csv')
FILE_INPUT2_PATH = os.path.join(INPUT_PATH, 'input2.csv')
PROCESSED_PATH = os.path.join(BASE_PATH, 'processed')
FILE_PROC1_PATH = os.path.join(PROCESSED_PATH, 'processed1.pkl')
FILE_PROC2_PATH = os.path.join(PROCESSED_PATH, 'processed2.pkl')

结构目录：

root
  |__ constant.py
  |__ input
          |__ input1.csv
          |__ input2.csv 
  |__ process
          |__ processed1.pkl
          |__ processed2.pkl

data_handling.py

from constants import FILE_INPUT1_PATH, FILE_INPUT2_PATH, FILE_PROC1_PATH, FILE_PROC2_PATH

def foo(*args):
    file = FILE_INPUT1_PATH
    # Here it is doing staff
    # Finally I write data into FILE_PROC1_PATH

def bar(*args):
    file = FILE_INPUT2_PATH
    # Here it is doing staff
    # Finally I write data into FILE_PROC2_PATH

目前我正在尝试使用pytest并测试foo()和bar()但我不知道如何继续，因为输入文件和处理过的文件太大而且测试过程没有覆盖处理过的文件一种方法是将定义bar()更改为bar(path)，然后调用bar(FILE_INPUT2_PATH)，但在代码中没有意义，因为bar始终需要阅读FILE_INPUT2_PATH它在许多地方被调用。 foo（）和bar（）的单元测试将测试是否创建了已处理的文件，因为它取决于*args。

所以......问题是我该如何解决？这种情况是否存在模式/良好实践？我应该在代码中更改什么？

Answer 1

输入文件和处理过的文件太大而且测试过程没有覆盖已处理的文件

是的，测试非常适合这种工作。通用方法是创建测试数据（可以是包含边缘情况的原始数据的子集）并将其放置在测试附近的某处，例如：

├───tests
│   │   test_bar.py
│   │   test_foo.py
│   │
│   └───data
│           input_1.dat
│           input_2.dat
│           expected_1.pkl
│           expected_2.pkl

然后，如果测试函数接受输入作为常量而不是参数，请使用unittest.mock.patch在测试运行中更改常量（有关快速参考，请参阅this excellent answer）。对于存储输出，可以使用常规或临时文件。

import tempfile
from pathlib import Path
from unittest.mock import patch

import foo_module


TEST_DATA_DIR = Path(__file__).resolve().parent / 'data'


@patch('foo_module.FILE_INPUT1_PATH', TEST_DATA_DIR / 'input_1.dat')
@patch('foo_module.FILE_PROC1_PATH', tempfile.mktemp())
def test_foo(tmpdir):
    """Process input and check result."""
    foo_module.foo()
    result = open(foo_module.FILE_PROC1_PATH, 'rb').read()
    expected = open(TEST_DATA_DIR / 'expected_1.pkl', 'rb').read()
    assert result == expected

注意： tempfile.mktemp()已弃用，因为未在mktemp()调用上创建文件，因此可以被其他进程锁定。随意建议替代方法。

用pytest读取和写入文件的模式

1 个答案: