为Kafa主题设置Secor的步骤

Question

我对Pinterest Secor还是陌生的，我正在尝试将其设置为我当地的Kafka主题。我尝试阅读GitHub的官方文档，但未解释要遵循的完整步骤以及应在配置文件中修改哪些字段以及它们的含义。如果有人可以引导我进入有用的链接，那将是很好的。

Answer 1

此处是根据Secor官方文档设置Secor的链接。 Secor doc link

一些主要步骤是：-

• 1。创建一个Java类来定义您的分区。这些分区    您想在其中使用S3或Azure路径/文件夹结构    上传您的数据。
  1. 在配置文件中-> https://github.com/pinterest/secor/blob/master/src/main/config/secor.prod.partition.properties 将班级名称更新为您的班级名称
  2. 在属性secor.kafka.group中设置kafka组名称
  3. 设置目录，在该目录中将secor数据上载到S3 / Azure-blob之前。更新这个 属性-> secor.local.path
  4. 更新S3位置的基本路径。更新此属性-> secor.s3.path
  5. 在要使用数据的位置设置kafka主机-> kafka.seed.broker.host
  6. 设置用于管理您的kafka的zookeeper IP和端口-> zookeeper.quorum
  7. 设置文件上传到s3的时间-> secor.max.file.age.seconds