Spark序列化:钨和Kryo​​如何一起工作?

时间:2018-06-19 18:30:51

标签: apache-spark serialization kryo

我正在阅读有关Spark优化的信息,但不清楚像Kryo那样的串行化

我从阅读中得到的一些笔记使我想到了这个问题:

  • “钨的表示比使用Java甚至Kryo序列化器序列化的对象要小得多。” source-hortonworks

  • “通过代码生成,我们可以提高序列化的吞吐量,进而提高洗牌网络的吞吐量。” source-databricks

1 个答案:

答案 0 :(得分:2)

不包括,例如Encoders.kryo这样的边界情况。

钨使用它自己的二进制存储格式和相应的Serde工具(Encoders)。这就是为什么在标准操作模式下可以更快,更高效地使用内存。