Spark 2.X中如何使用Kyro

Question

请帮助您澄清以下内容：

• Kyro是否在持久性RDD / Dataframe中使用。当我们选择持久化传递MEMORY_AND_DISK_SER时。
• 如果是OFF_HEAP，则使用Tunsten方法或使用Kyro。

Answer 1

  

Kyro是否在持久性RDD / Dataframe中使用。当我们选择持久化传递MEMORY_AND_DISK_SER时。

• RDD-是的。
• DataFrame / Dataset-否，已使用Encoders.kryo序列化的字段除外

  

如果是OFF_HEAP，则使用Tunsten方法或使用Kyro。

否。

总结-Dataset API中从未将Kryo用于存储。