在多核设备上运行TensorFlow

时间:2017-10-21 17:01:20

标签: java android tensorflow

我有一个基本的Android TensorFlowInference示例,可以在单个线程中正常运行。

public class InferenceExample {

    private static final String MODEL_FILE = "file:///android_asset/model.pb";
    private static final String INPUT_NODE = "intput_node0";
    private static final String OUTPUT_NODE = "output_node0"; 
    private static final int[] INPUT_SIZE = {1, 8000, 1};
    public static final int CHUNK_SIZE = 8000;
    public static final int STRIDE = 4;
    private static final int NUM_OUTPUT_STATES = 5;

    private static TensorFlowInferenceInterface inferenceInterface;

    public InferenceExample(final Context context) {
        inferenceInterface = new TensorFlowInferenceInterface(context.getAssets(), MODEL_FILE);
    }

    public float[] run(float[] data) {

        float[] res = new float[CHUNK_SIZE / STRIDE * NUM_OUTPUT_STATES];

        inferenceInterface.feed(INPUT_NODE, data, INPUT_SIZE[0], INPUT_SIZE[1], INPUT_SIZE[2]);
        inferenceInterface.run(new String[]{OUTPUT_NODE});
        inferenceInterface.fetch(OUTPUT_NODE, res);

        return res;
    }
}

根据以下示例在java.lang.ArrayIndexOutOfBoundsException中运行时,示例崩溃时会出现各种异常,包括java.lang.NullPointerExceptionThreadPool,所以我猜这不是线程安全的。

InferenceExample inference = new InferenceExample(context);

ExecutorService executor = Executors.newFixedThreadPool(NUMBER_OF_CORES);    
Collection<Future<?>> futures = new LinkedList<Future<?>>();

for (int i = 1; i <= 100; i++) {
    Future<?> result = executor.submit(new Runnable() {
        public void run() {
           inference.call(randomData);
        }
    });
    futures.add(result);
}

for (Future<?> future:futures) {
    try { future.get(); }
    catch(ExecutionException | InterruptedException e) {
        Log.e("TF", e.getMessage());
    }
}

是否可以利用TensorFlowInferenceInterface

来利用多核Android设备

2 个答案:

答案 0 :(得分:1)

为了确保InferenceExample主题安全,我更改了TensorFlowInferenceInterface static,并run方法synchronized

private TensorFlowInferenceInterface inferenceInterface;

public InferenceExample(final Context context) {
    inferenceInterface = new TensorFlowInferenceInterface(assets, model);
}

public synchronized float[] run(float[] data) { ... }

然后我在InterferenceExample之间循环显示numThreads个实例的列表。

for (int i = 1; i <= 100; i++) {
    final int id = i % numThreads;
    Future<?> result = executor.submit(new Runnable() {
        public void run() {
            list.get(id).run(data);
        }
    });
    futures.add(result);
}

但这确实提高了性能 在8核设备上,此峰值为numThreads的2,仅显示Android Studio Monitor中约50%的CPU使用率。

答案 1 :(得分:0)

TensorFlowInferenceInterface类不是线程安全的(因为它在调用feedrunfetch等之间保持状态。

但是,它构建在TensorFlow Java API之上,Session类的对象是线程安全的。

因此,您可能希望直接使用底层Java API,TensorFlowInferenceInterface的构造函数创建Session并使用从{{1加载的Graph进行设置(code)。

希望有所帮助。