Spark Streaming在重新部署代码

Question

我们有一个火花流应用程序并启用了检查指示。

当我们执行code re-deployment时，我们需要删除检查点目录或提供其他一些检查指向目录，因此会有数据丢失，因为我们正在使用直接流方法。

我们可以用SerialVersionUID做些什么吗？如果我们在进行代码重新部署时使用相同的SerialVersionUID会发生什么？

Answer 1

  

我们能用SerialVersionUID做些什么吗？如果我们在进行代码重新部署时使用相同的SerialVersionUID会发生什么？

不要这样做。由于您的代码在版本之间不是二进制兼容的，因此无法正常工作，一般而言，您不希望手动为项目中的每个类分配一个序列版本，而不是; t scale。

您必须删除检查点数据，这是流式传输的主要注意事项之一。您可以创建其他bash脚本，以确保在版本升级时删除检查点。

更好的是，如果您有配置管理系统，则可以直接将更新与删除集成。