Apache pulsar无限保留

Question

在Apache Pulsar主题文档中，它说我们可以将主题时间保留策略设置为-1以进行无限时间保留，具有无限保留的缺点是什么？我们可以使用脉冲星作为消息存储，其中数据永远存在于主题中围绕它们构建事件采购应用程序？

Answer 1

缺点是您的数据将永远增长。然而，由于底层存储（簿记员）的基于段的体系结构，可以通过添加存储节点来添加更多空间（即，所有数据不必适合一台机器，如在一些其他系统中的情况）。

基于段的体系结构还使得将数据移动到大容量存储系统（s3或其他）时相当简单，同时仍然可以从Pulsar获得它。但是，现在仍处于讨论的早期阶段。

Answer 2

实际上，您可以并且应该使用Pulsar's Tiered Storage选项将旧数据卸载到更具成本效益的存储中，例如S3，Google Blob存储或HDFS。与Kafka不同，Pulsar已将服务层与存储层解耦，从而实现了这一点。在Kafka中，您将不得不“无休止地添加硬盘”并代理实例来存储它们。

Answer 3

利用 Pulsar 的优势是一个更好的选择，因为它为您的数据存储提供了更多的组织。由于 Pulsar 的优势在于将分层存储与主题分开的存储层，因此我建议您采用这种方式，因为您的数据将更加安全且易于访问。