Tensorflow对象检测API - 重新使用来自不同色彩空间的图像？

Question

我已经能够重新训练对象检测模型以使用我的自定义类。但我现在要做的是在推理期间修改输入到不同的颜色空间（最好是YUV）。

我需要修改网络吗？可以使用相同的API完成吗？我还能使用转学习吗？还是我必须从头开始训练？

Answer 1

转换为RGB可能最简单，但绝对可以使用转移学习进行训练。您仍然需要将YUV值保存为JPEG的RGB通道，并且不清楚这样做是否有任何显着优势，而不是简单地转换为RGB。

如果您希望以降低的空间分辨率（通常如此）表示色度（U，V）通道，那么可能的一个小速度优势是，但这可能涉及设计可以利用此功能的自定义架构

Answer 2

您不需要更改网络架构。

您可以使用相同的API进行训练。

但我认为转学习会遇到问题。

您用于进行转移学习的经过训练的网络是在RGB通道上进行培训的。这意味着可能在第一层中有过滤器正在寻找RGB值之间的特定差异。例如，当B通道和R通道之间存在差异时，找到边缘。对于V和Y通道之间的差异，此过滤器不会找到相同的内容。

因为从第一层开始，您将获得不同的结果，这将传播到整个网络。

作为一般规则，如果您向网络插入的数据不同于预期的数据，则不会指望获得相同的结果。