Question

我是pyspark的新手，正在尝试将Spark连接到Apache Kafka。我正在使用下面提到的代码进行连接，但出现错误。我要求有人告诉我我在做什么错。

import sys
from pyspark import SparkContext, SparkConf
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils
from uuid import uuid1

if __name__ == "__main__":
    sc = SparkContext(appName="PythonStreaming")
    ssc = StreamingContext(sc, 2) # 2 second window
    kvs = KafkaUtils.createStream(ssc, \
                                  "localhost:9092", \
                                  "test",\
                                  {test:1})
    ssc.start()
    ssc.awaitTermination()

我收到此错误

NameError：未定义名称“ test”

而test确实是我的主题名称。

Answer 1

只需尝试使用以下命令显示“主题”列表，并确保该主题可用。

bin/kafka-topics.sh --list --zookeeper localhost:2181

为什么kafkaUtils.createStream（）向我抛出错误？

1 个答案: