如何将Tensorflow网络导入嵌入式

Question

我目前正在Keras + Tensorflow（CNN和LSTM）上开发深度学习算法。

如何将我创建的网络（架构和参数）导入到可以运行Python的嵌入式系统中，而不是Tensorflow？

解决方案可以从头开始重新创建网络元素（神经元类，过滤器等），并使用TF文件在嵌入式系统上初始化它们。

还有其他选择吗？任何可以在嵌入式上使用的库？

Answer 1

如果TensorFlow不适用于您的架构，则应该可以构建它，尽管它可能涉及大量工作。就像你说的那样，可以简单地手工复制模型中的操作，但除非它是一个相当简单的操作，否则它也会很麻烦，容易出错并且难以维护。

对你来说，最好的选择可能是XLA，这是TensorFlow图形的编译器，除其他外，它能够ahead-of-time compilation。此功能允许您将图形转换为可以使用的C ++库，而无需进一步依赖。缺点是：

• XLA目前仍处于试验阶段，被认为属于阿尔法。这些示例似乎有效，但例如get it to work on Windows或cross-compile with it并不是那么简单（这两个功能可能是最常见的用例）。
• 使用起来不是特别容易。 documentation of tfcompile相当好地解释了该过程，但它要求您使用Bazel并假设您已熟悉它。