在Spark Pipeline中部署Tensorflow / Keras模型

时间:2019-01-11 17:43:02

标签: python-3.x apache-spark tensorflow keras nlp

我已经训练了几种RNN+biLSTM模型,这些模型要部署在由pyspark个管道步骤组成的管道中。 spark-deep-learning似乎是一个过时的项目,仅容纳使用图像数据的工作。如今,有没有将tensorflow / keras模型(及其相关的矢量嵌入)加载到pyspark管道中的最佳实践?

1 个答案:

答案 0 :(得分:0)

如果要将张量流模型部署到Spark中,应查看Deeplearning4J。它带有一些导入程序,您可以在其中读取kerasTensorFlow模型。 请注意,并非每层都受支持。

除了火花深度学习之外,还有tensorframe,我从没使用过,所以我不知道它有多好。

通常,我建议直接通过Distributed Tensorflow使用tensorflow,而不要使用所有这些包装器。