Question

我有两个分别运行Kafka和spark的集群。我想从spark集群创建一个kafka主题。我注意到要创建一个我们需要调用Kafka-topics.sh的主题，这个主题在spark集群中不可用。命令应该通过shell调用。

例如：/ kafka_topics.sh --zookeeper：2181 --create --topic test_topic

应该从spark集群调用此脚本，它应该在Kafka集群上执行。任何人都可以帮助我吗？

Answer 1

您可以使用java api和maven依赖项（kafka和zookeeper）来创建kafka主题，如下所示。您可以从提交spark应用程序的代码中调用代码。

<dependency>
    <groupId>com.101tec</groupId>
    <artifactId>zkclient</artifactId>
    <version>0.3</version>
</dependency>

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka_2.10</artifactId>
    <version>0.8.2.1</version>
</dependency>

import java.util.Properties;
import org.I0Itec.zkclient.ZkClient;
import org.I0Itec.zkclient.exception.ZkInterruptedException;
import kafka.utils.ZKStringSerializer$;
import kafka.admin.AdminUtils;

public final class KafkaUtils {
    public static void main(String[] args) throws Exception {       
        KafkaUtils.createTopic("x.x.x.x:2181,y.y.y.y:2181", "topicName", 1, 0, new Properties());       
    }

    public static void createTopic(String zkHosts, String topicName, int numberOfPartition, int replicationFactor, Properties properties) {
        ZkClient zkClient = null;
        try {
            zkClient = getZkClient(zkHosts);
            AdminUtils.createTopic(zkClient, topicName, numberOfPartition, replicationFactor, properties);
        } catch (Exception exception) {
            exception.printStackTrace();
        } finally {
            if (zkClient != null) {
                try {
                    zkClient.close();
                } catch (ZkInterruptedException ex) {
                    ex.printStackTrace();
                }

            }
        }
    }

    private static ZkClient getZkClient(String zkHosts) {
        ZkClient zkClient = null;
        // Zookeeper sessionTimeoutMs
        final int sessionTimeoutMs = 10000;
        // Zookeeper connectionTimeoutMs
        final int connectionTimeoutMs = 10000;
        zkClient = new ZkClient(zkHosts, sessionTimeoutMs, connectionTimeoutMs, ZKStringSerializer$.MODULE$);
        return zkClient;
    }
}

这里x.x.x.x和y.y.y.y是kafka的zk群集主机。希望这会有所帮助。

如何在另一个火花簇中创建在不同群集中运行的Kafka主题？

1 个答案: