如何在Spark中使用deeplearning4j Word2vec？

Question

使用spark-submit时，我需要使用--packages发送依赖项。我应该使用哪个包裹？

我尝试制作一个包含依赖项的超级jar，但是我收到以下错误：

java.lang.IllegalArgumentException: Please specify an existing file

错误是以下代码的结果：

String path = "hdfs:///user/data.txt";
SentenceIterator iter = new LineSentenceIterator(new File(path));

Answer 1

Deeplearning4j实际上有自己的word2vec火花版本。 在这里查看我们的示例： https://github.com/deeplearning4j/deeplearning4j/blob/master/deeplearning4j-scaleout/spark/dl4j-spark-nlp/src/test/java/org/deeplearning4j/spark/models/embeddings/word2vec/Word2VecTest.java#L57