我已经训练了几种RNN+biLSTM
模型,这些模型要部署在由pyspark
个管道步骤组成的管道中。 spark-deep-learning
似乎是一个过时的项目,仅容纳使用图像数据的工作。如今,有没有将tensorflow
/ keras
模型(及其相关的矢量嵌入)加载到pyspark
管道中的最佳实践?
答案 0 :(得分:0)
如果要将张量流模型部署到Spark中,应查看Deeplearning4J。它带有一些导入程序,您可以在其中读取keras和TensorFlow模型。 请注意,并非每层都受支持。
除了火花深度学习之外,还有tensorframe,我从没使用过,所以我不知道它有多好。
通常,我建议直接通过Distributed Tensorflow使用tensorflow,而不要使用所有这些包装器。