Question

我有c＃TensorFlow.NET在Unity中工作。但是它使用来自文件系统的图像。我希望能够使用内存中的图像（Texture2D）。

我试图跟随一些使用TensorFlowSharp的人的例子。但这没用。

我在做什么错了？

注意：使用这两个功能时，我使用的是同一张图片。图片为512x512。但是两张图片的结果都不同。

// Doesn't work
private NDArray FromTextureToNDArray(Texture2D texture) {
    Color32[] pixels = texture.GetPixels32();

    byte[] floatValues = new byte[(texture.width * texture.height) * 3];

    for (int i = 0; i < pixels.Length; i++) {
        var color = pixels[i];

        floatValues[i * 3] = color.r;
        floatValues[i * 3 + 1] = color.g;
        floatValues[i * 3 + 2] = color.b;
    }

    Shape shape = new Shape(1, texture.width, texture.height, 3);
    NDArray image = new NDArray(floatValues, shape);

    return image;
}

// Works
private NDArray ReadFromFile(string fileName) {
    var graph = new Graph().as_default();

    // Change image
    var file_reader = tf.read_file(fileName, "file_reader");
    var decodeJpeg = tf.image.decode_jpeg(file_reader, channels: 3, name: "DecodeJpeg");

    var casted = tf.cast(decodeJpeg, TF_DataType.TF_UINT8);
    var dims_expander = tf.expand_dims(casted, 0);
    using (var sess = tf.Session(graph)) {
        return sess.run(dims_expander);
    }
}

Answer 1

我最终使用了来自沙迁的这段代码：https://github.com/shaqian/TF-Unity/blob/master/TensorFlow/Utils.cs

将此脚本添加到您的项目中，然后您可以像这样使用它：

// Get image
byte[] imageData = Utils.DecodeTexture(texture, texture.width, texture.height, 0, Flip.VERTICAL);
Shape shape = new Shape(1, texture.width, texture.height, 3);
NDArray image = new NDArray(imageData, shape);

Answer 2

使用梭子鱼作为中间步骤。

var encoder = new Unity.Barracuda.TextureAsTensorData(your_2d_texture);

如何将图像（Texture2D）转换为张量

2 个答案: