深度学习中如何处理整个幻灯片图像

Question

我打算对整个幻灯片图像进行一些分类/细分。由于图像很大，我想知道可用于处理它们的方法。到目前为止，我遇到了将图像分为多个部分，处理这些部分并合并结果的技术。但是，我想更多地了解其他更好的方法，如果这是好的方法。对现有文献的任何引用都会有很大帮助。

Answer 1

pyvips具有从幻灯片图像有效生成补丁的功能。

此基准测试显示其工作方式。它可以从SVS文件的8个基本方向上每秒生成约25,000个64x64补丁：

https://github.com/libvips/pyvips/issues/100#issuecomment-493960943

很方便进行培训。我不知道这与人们使用的其他补丁生成系统相比如何。

Answer 2

要读取这些图像，标准库为“ open-slide” [https://openslide.org/api/python/]。通过“打开幻灯片”，您可以阅读例如补丁或缩略图。

对于基本图像处理操作（例如过滤），“ libvips”及其python绑定“ pyvips”，可以快速方便地使用[https://libvips.github.io/pyvips/vimage.html]。

如果您需要将数据（如随机补丁）传递给机器学习模型，我个人建议使用“ PyDmed”。在训练（例如分类器或生成模型）时，“ PyDmed”的加载速度适合将批量数据馈送到GPU。

以下是PyDmed公共仓库的链接： https://github.com/amirakbarnejad/PyDmed

以下是PyDmed快速入门的链接： https://amirakbarnejad.github.io/Tutorial/tutorial_section1.html

Answer 3

正如 akbarnejad 提到的，我更喜欢使用 openslide。

我通常最终编写定制的数据加载器以输入使用 openslide 的 pytorch 模型，首先使用幻灯片的低分辨率（缩略图）图像的各种阈值进行一些简单的分割以获得补丁坐标，然后提取相关补丁用于输入训练模型的组织。

有一些很好的例子和工具试图让 pytorch 和 Keras 更简单 -

Pytorch wsi-preprocessing

Keras Deeplearning-digital-pathology

两者 deep-openslide