Question

我是kafka的初学者

1 / I下载了Kafka 1.0.0版本

2 /我更改了bith server.properties和zookeeper.properties中的数据目录位置属性

\设置\ server.properties \配置\ zookeeper.properties

3 /当我尝试启动Zookeeper和Kafka服务器时我有一个错误“文件出乎意料”

D：\ kafka-1.0.0-src \ kafka-1.0.0-src \ bin \ windows＆gt; zookeeper-server-start.bat .... \ config \ zookeeper.properties 文件étaitinattendu。

D：\ kafka-1.0.0-src \ kafka-1.0.0-src \ bin \ windows＆gt; kafka-server-start.bat .... \ config \ server.properties 文件étaitinattendu。

你能帮我吗？

Answer 1

我假设动物园管理员＆amp;每个用户自己的文件夹中的kafka为'kafkaflume'

kafkaflume文件夹中有2个文件夹：一个是zookeeper，另一个是kafka 这里还给出了一个配置文件： flumekafka.conf

您需要根据自己的要求编辑此文件。

首先需要启动zookeeper：

打开一个终端，转到zookeeper文件夹并启动它：

bin/zkServer.sh start

打开另一个终端，转到kafka文件夹并将其启动为：

bin/kafka-server-start.sh config/server.properties

打开另一个终端，转到kafka文件夹并启动生产者程序：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic  <topicname>

现在编辑 flumekafka.conf 文件，并为数据加载准备hdfs文件夹。

现在从控制台运行flume agent命令。

======================= Flume的配置文件： =======================

# Name the components on this agent
agent.sources = r1
agent.sinks =  k2
agent.channels = c1


# Describe/configure the source
agent.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
agent.sources.r1.zookeeperConnect = localhost:2181
agent.sources.r1.topic = <topicname>
agent.sources.r1.groupId = group1
agent.sources.r1.channels = c1
agent.sources.r1.interceptors = i1
agent.sources.r1.interceptors.i1.type = timestamp
agent.sources.r1.kafka.consumer.timeout.ms = 10000



# Describing/Configuring the sink
 agent.sinks.k2.type = hdfs
 agent.sinks.k2.hdfs.path =  hdfs://localhost:8020/user/<username>/<foldername>/%y-%m-%d
 agent.sinks.k2.hdfs.rollInterval = 5
 agent.sinks.k2.hdfs.rollSize = 0
 agent.sinks.k2.hdfs.rollCount = 0
 agent.sinks.k2.hdfs.fileType = DataStream
 agent.sinks.k2.channel = c1


# Describing/Configuring the channel agent.channels.MemChannel.type = memory
 agent.channels.c1.type=memory
 agent.channels.c1.capacity = 10000
 agent.channels.c1.transactionCapacity = 1000

Answer 2

感谢Bhaskar的回复，我的问题是我的JAVA_HOME在文件夹名称“Program Files”中有一些空格。

启动Zookeeper和Kafka Servers文件是意外的

2 个答案: