Question

让我们使用以下代码（conftest.py）：

import random
def test_val():
    value = random.random()
    assert value < 0.5

运行py.test --junitxml=result.xml conftest.py会生成result.xml（测试通过时）：

<?xml version="1.0" encoding="utf-8"?>
<testsuite errors="0" failures="0" name="" skips="0" tests="1" time="0.047">
<testcase classname="conftest" name="test_val" time="0.0"/>
</testsuite>

现在。我希望能够将test_val()生成的值存储在results.xml中。有办法吗？我似乎无法在pytest doc中找到任何相关内容。

Answer 1

随附的junitxml插件没有用于添加此类数据的挂钩你可以将它打印到stdout，因为它会被添加到junitxml数据中。

因此，只要您打印出日志，您至少就能够知道数据。

Answer 2

多年过去了，最好的解决方案应该被记录下来。

来自 Pytest 的 record_property 固定装置文档：

<块引用>

向调用测试添加额外的属性。

用户属性成为测试报告的一部分，可用于配置的报告器，如 JUnit XML。

夹具可以使用名称、值调用。该值是自动的 XML 编码。

捕获通过和失败案例的属性。

套件：

def test_passes(record_property):
    record_property("key", "value1")
    assert 1 == 1


def test_fails(record_property):
    record_property("key", "value2")
    assert 1 == 2

使用 pytest 运行 --junitxml=result.xml 时的结果

生成的 Junit 测试报告：

<?xml version="1.0" encoding="utf-8"?>
<testsuites>
    <testsuite name="pytest" errors="0" failures="1" skipped="0" tests="2" time="0.085"
               timestamp="2021-04-12T14:25:09.900867" hostname="DESKTOP">
        <testcase classname="test_something" name="test_passes" time="0.001">
            <properties>
                <property name="key" value="value1"/>
            </properties>
        </testcase>
        <testcase classname="test_something" name="test_fails" time="0.001">
            <properties>
                <property name="key" value="value2"/>
            </properties>
            <failure message="assert 1 == 2">record_property = &lt;function record_property.&lt;locals&gt;.append_property
                at 0x000001A1A9EB40D0&gt;

                def test_fails(record_property):
                record_property("key", "value2")
                &gt; assert 1 == 2
                E assert 1 == 2

                test_something.py:8: AssertionError
            </failure>
        </testcase>
    </testsuite>
</testsuites>

如果您运行的 Pytest 版本很新，您会看到弃用警告

test_something.py::test_fails
  test_something.py:6: PytestWarning: record_property is incompatible with junit_family 'xunit2' (use 'legacy' or 'xunit1')
    def test_fails(record_property):

这是因为 Xunit 报告的架构已更改。来自 Pytest changelog：

<块引用>

record_property 现在与 junit_family=xunit2 一起使用时会发出 PytestWarning：夹具生成属性标签作为子项测试用例，这是不允许的根据最新的架构

要克服警告，您可以：

使用覆盖标志 -o junit_family="xunit1" 运行 Pytest 或将此属性放在 pytest.ini 上
使用 record_testsuite_property 会话范围的装置。尽管如此，这仅允许将属性附加到测试套件级别。

Answer 3

您可以解决问题，但不能使用junitxml。

您可以使用pytest-harvest。只需安装它，即可直接使用预定义的灯具：

import random

def test_val(results_bag):
    value = random.random()

    # save it (before test !)
    results_bag.value = value

    assert value < 0.5

def test_synthesis(module_results_df):
    """
    Shows that the `module_results_df` fixture already contains what you need
    """
    # drop the 'pytest_obj' column
    module_results_df.drop('pytest_obj', axis=1, inplace=True)

    print("\n   `module_results_df` dataframe:\n")
    print(module_results_df)

收益

>>> pytest -s -v

============================= test session starts =============================
collecting ... collected 2 items
tmp.py::test_val PASSED
tmp.py::test_synthesis 
   `module_results_df` dataframe:

          status  duration_ms     value
test_id                                
test_val  passed     0.999928  0.443547
PASSED

========================== 2 passed in 1.08 seconds ===========================

然后，您可以决定将数据帧以csv或其他任何格式转储到专用文件中。请注意，您不必在测试中编写以上代码，您可以从任何pytest钩子（可以访问上述固定装置或pytest request.session对象的位置）进行编写。

有关详细信息，请参阅文档。

最后，如果您还希望使用参数，固定装置，步骤...，您可能希望看看这个datascience benchmark example

我是作者；）

如何使用junitxml收集pytest中的数据结果？

3 个答案: