我一直试图在Movidius神经计算棒上的自定义Tensorflow模型上进行推理。问题是，NCSDK不支持最后一层。由于最后一层在计算上很轻，我想知道是否有可能在CPU上运行该层？
我以前的搜索使我想到了这些：
我只需要能够在NCS上的特定层进行推理，然后在CPU上处理最后一层。
答案 0 :(得分：0)
使用mvNCCompile以及NCS的-in和-on选项可能会有所帮助。使用-in输入编译模型，然后使用-on将输出节点指定为需要在NCS上运行的最后一个节点。这将创建一个图形文件，该图形文件从输入节点获取输入并给出输出节点。因此，您无需获取整个模型中的数据，而可以获得选择的任何节点的中间结果的输出。
从NCS获得中间层的结果后，您可能必须将此作为输入，输入到必须在CPU上运行的最后一层。