在python中使用nose进行并行化测试

时间:2010-06-24 16:32:49

标签: python nose nosetests

我有一个包含大量.py文件的目录(比如test_1.py,test_2.py等)。每个文件都写得正确,可以用于鼻子。因此,当我运行nosetests脚本时,它会在所有.py文件中找到所有测试并执行它们。

我现在想并行化它们,以便将所有.py文件中的所有测试都视为可并行化并委派给工作进程。

默认情况下,似乎在执行:

nosetests --processes=2 

根本没有引入并行性,所有.py文件的所有测试仍然只在一个进程中运行

我尝试在每个.py文件中放入一个_multiprocess_can_split_ = True,但没有区别

感谢您的任何意见!

1 个答案:

答案 0 :(得分:12)

似乎鼻子,实际上是多进程插件,将使测试并行运行。需要注意的是,它的工作方式最终不会在多个进程上执行测试。该插件创建一个测试队列,生成多个进程,然后每个进程同时使用该队列。每个进程都没有测试调度,因此如果测试执行速度非常快,最终可能会在同一个进程中执行。

以下示例显示此beaviour:

文件test1.py

import os
import unittest

class testProcess2(unittest.TestCase):

    def test_Dummy2(self):
        self.assertEqual(0, os.getpid())

文件test2.py

import os
import unittest

class testProcess2(unittest.TestCase):

    def test_Dummy2(self):
        self.assertEqual(0, os.getpid())

运行nosetests --processes = 2输出(注意相同的进程ID)

FF
======================================================================
FAIL: test_Dummy2 (test1.testProcess2)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "C:\temp\test1.py", line 7, in test_Dummy2
    self.assertEqual(0, os.getpid())
AssertionError: 0 != 94048

======================================================================
FAIL: test_Dummy1 (test2.testProcess1)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "C:\temp\test2.py", line 8, in test_Dummy1
    self.assertEqual(0, os.getpid())
AssertionError: 0 != 94048

----------------------------------------------------------------------
Ran 2 tests in 0.579s

FAILED (failures=2)

现在,如果我们在其中一个测试中添加一个睡眠

import os
import unittest
import time

class testProcess2(unittest.TestCase):

    def test_Dummy2(self):
        time.sleep(1)
        self.assertEqual(0, os.getpid())

我们得到(注意不同的进程ID)

FF
======================================================================
FAIL: test_Dummy1 (test2.testProcess1)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "C:\temp\test2.py", line 8, in test_Dummy1
    self.assertEqual(0, os.getpid())
AssertionError: 0 != 80404

======================================================================
FAIL: test_Dummy2 (test1.testProcess2)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "C:\temp\test1.py", line 10, in test_Dummy2
    self.assertEqual(0, os.getpid())
AssertionError: 0 != 92744

----------------------------------------------------------------------
Ran 2 tests in 1.422s

FAILED (failures=2)