Question

我在200维度的基础上训练Word2Vec模型，该模型具有相当重要的单个术语（~100k）。

Spark的典型W2V模型化目前增加了主要由每个单词的向量组成的内存使用，即：numberOfDimensions*sizeof(float)*numberOfWords。做数学，上面的数量级为100MB，给予或采取考虑到我仍然在使用我的标记器并仍在为最佳矢量大小而努力，我实际上是在75k-150k字的字典和100到300维的字典上进行计算，所以我们只是说该模型可以达到~500MB。

现在一切都很好，直到保存这个模型。目前这种方式以Spark的方式实现：

override protected def saveImpl(path: String): Unit = {
  DefaultParamsWriter.saveMetadata(instance, path, sc)
  val data = Data(instance.wordVectors.wordIndex, instance.wordVectors.wordVectors.toSeq)
  val dataPath = new Path(path, "data").toString
  sparkSession.createDataFrame(Seq(data)).repartition(1).write.parquet(dataPath)
}

即：创建1行的数据帧，该行在所有向量的数组中包含大f（l）。数据框保存为镶木地板。那很好......除非......你必须将它运送给遗嘱执行人。您在集群模式下执行的操作。

这最终炸毁了这个工作，像这样的堆栈跟踪：

16/11/28 11:29:00 INFO scheduler.DAGScheduler: Job 3 failed: parquet at Word2Vec.scala:311, took 5,208453 s  
16/11/28 11:29:00 ERROR datasources.InsertIntoHadoopFsRelationCommand: Aborting job.
org.apache.spark.SparkException: Job aborted due to stage failure: 
    Serialized task 32:5 was 204136673 bytes, 
    which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes).
    Consider increasing spark.rpc.message.maxSize or using broadcast variables for large values.
at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1454)

要重现的简单代码（你不能在本地火花炮弹，但你需要将它运送到群集）：

object TestW2V {

def main(args: Array[String]): Unit = {
  val spark = SparkSession.builder().appName("TestW2V").getOrCreate()
  import spark.implicits._

  // Alphabet
  val randomChars = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTYVWXTZ".toCharArray
  val random = new java.util.Random()

  // Dictionnary
  def makeWord(wordLength: Int): String = new String((0 until wordLength).map(_ => randomChars(random.nextInt(randomChars.length))).toArray)
  val randomWords = for (wordIndex <- 0 to 100000) // Make approx 100 thousand distinct words
                    yield makeWord(random.nextInt(10)+5)

  // Corpus (make it fairly non trivial)
  def makeSentence(numberOfWords: Int): Seq[String] = (0 until numberOfWords).map(_ => randomWords(random.nextInt(randomWords.length)))
  val allWordsDummySentence = randomWords // all words at least once
  val randomSentences = for (sentenceIndex <- 0 to 100000) 
                        yield makeSentence(random.nextInt(10) +5)
  val corpus: Seq[Seq[String]] = allWordsDummySentence +: randomSentences

  // Train a W2V model on the corpus
  val df = spark.createDataFrame(corpus.map(Tuple1.apply))
  import org.apache.spark.ml.feature.Word2Vec
  val w2v = new Word2Vec().setVectorSize(250).setMinCount(1).setInputCol("_1").setNumPartitions(4)
  val w2vModel = w2v.fit(df)
  w2vModel.save("/home/Documents/w2v")

  spark.stop
}
}

现在......我完全理解内部结构，我想，要理解为什么会发生这种情况。问题是：

我这样做是对的（我的API用法是否正确？）
我怎么能解决它？ spark.mllib.feature.Word2VecModel（＆＃34;已弃用＆＃34;基于RDD的1.x版本）有一个公共构造函数，我可以通过滚动自己的，正确分区的保存/加载实现来手动处理。但是新的spark.ml.feature.Word2VecModel没有提供我能看到的公共构造函数。
如果有任何火花贡献者这样做：这会被视为错误/可能的改进吗？

考虑到Spark团队修复了这个JIRA：https://issues.apache.org/jira/browse/SPARK-11994，（用于1.x API），我猜他们对2.0 API进行了双重检查，并且我做错了什么： - ）。

因为我知道我可以在本地模式下运行它，并避免最终任务序列化，但这是一个临时解决方案，这在生产级别是不可能的（数据可访问性和所有...）。或者将RPC大小破解为512MB，确定......

PS：上述情况发生在Spark 2.0.1和火花独立集群上（不能在本地模式下重现）。
我通常会将此类消息发布到用户邮件列表，但是看到Spark encourages the use of SO，这里就是......

Answer 1

我和你有着完全相同的经历。它在本地工作正常，但在群集模式下它会死掉，而不会像你建议的那样将RPC大小增加到512mb。

即。通过spark.rpc.message.maxSize=512让我过去了。

我也同意保存实现看起来很可疑，尤其是repartition(1)位。

Spark Word2VecModel超出最大RPC大小以保存

1 个答案: