Question

我可以在config/server.properties中看到名为log.dir的媒体资源？这是否意味着kafka使用相同的目录存储日志和数据？

Answer 1

Kafka主题是“分布式和分区仅附加日志 ”。参数log.dir定义了主题（即数据）的存储位置。

它与应用程序/代理记录无关。

默认log.dir为/tmp/kafka-logs，如果您的操作系统有/ tmp目录清理程序，您可能需要更改它。

Answer 2

config / server.properties中的

log.dir或log.dirs指定保存日志数据的目录。默认情况下，服务器日志目录为kafka_base_dir / logs。你可以通过为＆＃39; kafka.logs.dir＆＃39;指定另一个目录来修改它。在log4j.properties中。

Answer 3

log.dir中的

server.properties是Kafka代理将存储包含您的数据的提交日志的位置。通常，这将为关键任务用例提供高速装载磁盘。

对于应用程序/经纪人日志记录，您可以使用常规log4j日志记录在您的自定义位置记录事件。下面是执行此操作的变量。

-Dlog4j.configuration=file:<configuration file with log rolling, logging level etc.>  & -Dkafka.logs.dir=<path to logs>

Answer 4

日志和数据的目录位置由 Mathias 完美描述。然而数据是为Kafka引擎内部处理而设计的，您可以使用Kafka Connect来存储和操作数据。 Kafka Connect 是用于 Apache Kafka 和其他系统之间的可扩展性和可靠性数据的工具。看下图：

定义将大量数据移入和移出 Kafka 内部数据系统的连接器将变得简单。 Kafka Connect 可以摄取整个数据库，使数据可用于流处理或将单个（或多个）主题的特定数据下沉到另一个系统或数据库以进行进一步分析。