如何测试函数的图形输出?

时间:2015-05-14 20:31:32

标签: r testing graphics plot testthat

我想知道如何测试产生图形的函数。我有一个简单的 绘制函数img

img <- function() {
  plot(1:10)
}

在我的包中,我喜欢使用testthat为此功能创建单元测试。 因为plot及其基础图形中的朋友只是简单地返回NULL expect_identical无效:

library("testthat")

## example for a successful test
expect_identical(plot(1:10), img()) ## equal (as expected)

## example for a test failure
expect_identical(plot(1:10, col="red"), img()) ## DOES NOT FAIL!
# (because both return NULL)

首先,我考虑绘制到一个文件并将md5校验和与之比较 确保函数的输出相等:

md5plot <- function(expr) {
  file <- tempfile(fileext=".pdf")
  on.exit(unlink(file))
  pdf(file)
  expr
  dev.off()
  unname(tools::md5sum(file))
}

## example for a successful test
expect_identical(md5plot(img()),
                 md5plot(plot(1:10))) ## equal (as expected)

## example for a test failure
expect_identical(md5plot(img()),
                 md5plot(plot(1:10, col="red"))) ## not equal (as expected)

在Linux上运行良好但在Windows上运行不正常。出奇 md5plot(plot(1:10))会在每次通话时产生新的md5sum。 除了这个问题,我需要创建很多临时文件。

接下来我使用recordPlot(首先创建一个空设备,调用绘图 功能并记录其输出)。这按预期工作:

recPlot <- function(expr) {
  pdf(NULL)
  on.exit(dev.off())
  dev.control(displaylist="enable")
  expr
  recordPlot()
}

## example for a successful test
expect_identical(recPlot(plot(1:10)),
                 recPlot(img())) ## equal (as expected)

## example for a test failure
expect_identical(recPlot(plot(1:10, col="red")),
                 recPlot(img())) ## not equal (as expected)

有人知道更好的方法来测试函数的图形输出吗?

编辑:关于@josilber在评论中提出的要点。

虽然recordPlot方法运行良好,但您必须在单元测试中重写整个绘图功能。对于复杂的绘图功能而言,这变得复杂。如果有一种允许存储文件(*.RData*.pdf,...)的方法会很好,这个文件包含一个可以在将来的测试中进行比较的图像。 md5sum方法不起作用,因为md5sums在不同平台上有所不同。通过recordPlot您可以创建*.RData文件,但不能依赖其格式(来自recordPlot手册页):

  

记录图的格式可能会在R版本之间发生变化。        录制的图表可用作永久存储格式        R图。

也许可以存储图像文件(*.png*.bmp等),导入它并逐个像素地进行比较......

EDIT2 :以下代码说明了使用svg作为输出的所需参考文件方法。首先是所需的辅助函数:

## plot to svg and return file contant as character
plot_image <- function(expr) {
  file <- tempfile(fileext=".svg")
  on.exit(unlink(file))
  svg(file)
  expr
  dev.off()
  readLines(file)
}

## the IDs differ at each `svg` call, that's why we simple remove them
ignore_svg_id <- function(lines) {
  gsub(pattern = "(xlink:href|id)=\"#?([a-z0-9]+)-?(?<![0-9])[0-9]+\"",
       replacement = "\\1=\"\\2\"", x = lines, perl = TRUE)
}

## compare svg character vs reference
expect_image_equal <- function(object, expected, ...) {
  stopifnot(is.character(expected) && file.exists(expected))
  expect_equal(ignore_svg_id(plot_image(object)),
               ignore_svg_id(readLines(expected)), ...)
}

## create reference image
create_reference_image <- function(expr, file) {
  svg(file)
  expr
  dev.off()
}

测试将是:

create_reference_image(img(), "reference.svg")

## create tests
library("testthat")

expect_image_equal(img(), "reference.svg") ## equal (as expected)
expect_image_equal(plot(1:10, col="red"), "reference.svg") ## not equal (as expected)

可悲的是,这不适用于不同的平台。订单(和名称) svg元素在Linux和Windows上完全不同。

pngjpegrecordPlot存在类似的问题。生成的文件 在所有平台上都有所不同。

目前唯一可行的解​​决方案是上面的recPlot方法。但是因此 我需要在单元测试中重写整个绘图功能。

<小时/> P.S: 我对Windows上的不同md5sums感到困惑。它们似乎取决于临时文件的创建时间:

# on Windows
table(sapply(1:100, function(x)md5plot(plot(1:10))))
#4693c8bcf6b6cb78ce1fc7ca41831353 51e8845fead596c86a3f0ca36495eacb
#                              40                               60

2 个答案:

答案 0 :(得分:13)

Mango Solutions已经发布了一个开源软件包visualTest,它可以对图表进行模糊匹配,以解决这个用例。

软件包在github上,因此请使用以下命令安装:

devtools::install_github("MangoTheCat/visualTest")
library(visualTest)

然后使用函数getFingerprint()为每个绘图提取指纹,并使用函数isSimilar()进行比较,指定合适的阈值。

首先,在文件上创建一些图:

png(filename = "test1.png")
img()
dev.off()

png(filename = "test2.png")
plot(1:11, col="red")
dev.off()

指纹是一个数字向量:

> getFingerprint(file = "test1.png")
 [1]  4  7  4  4 10  4  7  7  4  7  7  4  7  4  5  9  4  7  7  5  6  7  4  7  4  4 10
[28]  4  7  7  4  7  7  4  7  4  3  7  4  4  3  4  4  5  5  4  7  4  7  4  7  7  7  4
[55]  7  7  4  7  4  7  5  6  7  7  4  8  6  4  7  4  7  4  7  7  7  4  4 10  4  7  4

> getFingerprint(file = "test2.png")
 [1]  7  7  4  4 17  4  7  4  7  4  7  7  4  5  9  4  7  7  5  6  7  4  7  7 11  4  7
[28]  7  5  6  7  4  7  4 14  4  3  4  7 11  7  4  7  5  6  7  7  4  7 11  7  4  7  5
[55]  6  7  7  4  8  6  4  7  7  4  4  7  7  4 10 11  4  7  7

使用isSimilar()进行比较:

> isSimilar(file = "test2.png",
+           fingerprint = getFingerprint(file = "test1.png"),
+           threshold = 0.1
+ )
[1] FALSE

您可以在http://www.mango-solutions.com/wp/products-services/r-services/r-packages/visualtest/

了解有关该套餐的更多信息

答案 1 :(得分:5)

值得注意的是vdiffr包还支持比较情节。一个很好的功能是它与testthat软件包集成 - 它实际上用于在ggplot2中进行测试 - 它有一个RStudio的插件来帮助管理你的测试套件。