如何在Spark中构建神经网络？

Question

流程应该是：

输入 - ＆gt; Word2Vectors - ＆gt;输出 - ＆gt; NeuralNetwork

我已经尝试了spark的word2vec功能，但我对格式“MultilayerPerceptronClassifier”需要作为输入感到困惑？

Answer 1

定义MultilayerPerceptronClassifier时，您必须将名为Array[Int]的{​​{1}}作为参数。这些描述了该序列中每层的神经元数量。第一层的输入维度必须与layers输出维度的长度匹配。所以你应该把参数设置为

Word2Vec

并使用您希望模型具有的参数替换数字。您应该将val layers = Array[Int](featureDim, 5, 4, 5, ...) 设置为featureDim生成的向量的长度。不幸的是，具有该值的属性通过Word2VecModel访问器隐藏，并且到目前为止还没有实现getter方法。