如何在Python单元测试中模拟文件系统?

时间:2013-10-30 01:19:54

标签: python unit-testing mocking filesystems

是否有标准方法(不安装第三方库)在Python中进行跨平台文件系统模拟?如果我必须使用第三方库,哪个库是标准的?

4 个答案:

答案 0 :(得分:26)

pyfakefshomepage)做你想要的 - 一个假的文件系统;它是第三方,但该派对是谷歌。有关使用的讨论,请参阅How to replace file-access references for a module under test

对于模拟unittest.mock是Python 3.3+(PEP 0417)的标准库;对于早期版本,请参阅PyPI: mock(适用于Python 2.5+)(homepage)。

测试和模拟中的术语不一致;使用Gerard Meszaros的Test Double术语,你要求一个“假的”:行为类似文件系统(你可以创建,打开和删除文件),但不是实际的文件系统(在这种情况下是内存中的,所以你不需要有测试文件或临时目录。

在经典模拟中,您将改为模拟输出系统调用(在Python中,模拟os模块中的函数,如os.rmos.listdir ),但那更加繁琐。

答案 1 :(得分:11)

Python 3.3+中的标准模拟框架是unittest.mock;你可以将它用于文件系统或其他任何东西。

您也可以通过猴子修补模拟手动滚动它:

一个简单的例子:

import os.path
os.path.isfile = lambda path: path == '/path/to/testfile'

更饱满(未经测试):

import classtobetested                                                                                                                                                                                      
import unittest                                                                                                                                                                                             

import contextlib                                                                                                                                                                                           

@contextlib.contextmanager                                                                                                                                                                                  
def monkey_patch(module, fn_name, patch):                                                                                                                                                                   
    unpatch = getattr(module, fn_name)                                                                                                                                                                      
    setattr(module, fn_name)                                                                                                                                                                                
    try:                                                                                                                                                                                                    
        yield                                                                                                                                                                                               
    finally:                                                                                                                                                                                                
        setattr(module, fn_name, unpatch)                                                                                                                                                                   


class TestTheClassToBeTested(unittest.TestCase):                                                                                                                                                              
    def test_with_fs_mocks(self):                                                                                                                                                                           
        with monkey_patch(classtobetested.os.path,                                                                                                                                                          
                          'isfile',                                                                                                                                                                         
                          lambda path: path == '/path/to/file'):                                                                                                                                            
            self.assertTrue(classtobetested.testable())                 

在这个例子中,实际的模拟是微不足道的,但你可以用一些具有状态的东西来支持它们,这样就可以代表文件系统的动作,比如保存和删除。是的,这有点难看,因为它需要在代码中复制/模拟基本文件系统。

注意你不能修补python内置的补丁。那就是说......

对于早期版本,如果可能的话,如果可能使用第三方库,我会选择Michael Foord的真棒Mock,现在unittest.mock在标准库中为{{1}},感谢{{ 3}},您可以在PEP 0417上获取Python 2.5+。并且,它可以模拟内置的!

答案 2 :(得分:8)

pytest获得了很大的吸引力,它可以使用tmpdirmonkeypatching(模拟)来完成所有这些工作。

您可以使用tmpdir函数参数,该参数将提供在基本临时目录中创建的测试调用唯一的临时目录(默认情况下创建为系统临时目录的子目录)。 / p>

import os
def test_create_file(tmpdir):
    p = tmpdir.mkdir("sub").join("hello.txt")
    p.write("content")
    assert p.read() == "content"
    assert len(tmpdir.listdir()) == 1

monkeypatch函数参数可帮助您安全地设置/删除属性,字典项或环境变量,或修改sys.path以进行导入。

import os
def test_some_interaction(monkeypatch):
    monkeypatch.setattr(os, "getcwd", lambda: "/")

你也可以传递一个函数,而不是使用lambda。

import os.path
def getssh(): # pseudo application code
    return os.path.join(os.path.expanduser("~admin"), '.ssh')

def test_mytest(monkeypatch):
    def mockreturn(path):
        return '/abc'
    monkeypatch.setattr(os.path, 'expanduser', mockreturn)
    x = getssh()
    assert x == '/abc/.ssh'

# You can still use lambda when passing arguments, e.g.
# monkeypatch.setattr(os.path, 'expanduser', lambda x: '/abc')

如果你的应用程序与文件系统有很多交互,那么使用像pyfakefs这样的东西可能会更容易,因为模拟会变得乏味和重复。

答案 3 :(得分:7)

伪造还是嘲弄?

就个人而言,我发现文件系统中有很多边缘情况(比如用正确的权限打开文件,字符串vs二进制,读/写模式等),并且使用准确的伪文件系统可以找到很多你可能通过嘲弄找不到的错误。在这种情况下,我会查看memoryfspyfilesystem模块(它具有相同接口的各种具体实现,因此您可以在代码中交换它们)。

模拟(没有猴子补丁!):

那就是说,如果你真的想要模拟,你可以使用Python的unittest.mock库轻松地做到这一点:

# production code file; note the default parameter
def make_hello_world(path, open_func=open):
    with open_func(path, 'w+') as f:
        f.write('hello, world!')

# test code file
def test_make_hello_world():
    file_mock = unittest.mock.Mock(write=unittest.mock.Mock())
    open_mock = unittest.mock.Mock(return_value=file_mock)

    # When `make_hello_world()` is called
    make_hello_world('/hello/world.txt', open_func=open_mock)

    # Then expect the file was opened and written-to properly
    open_mock.assert_called_once_with('/hello/world.txt', 'w+')
    file_mock.write.assert_called_once_with('hello, world!')

上面的示例仅演示了通过模拟open()方法创建和写入文件,但您可以轻松地模拟任何方法。