将RDD发送到Kafka主题时PYspark发生错误

Question

我对这一点感到有些困惑。

我的火花代码会生成预期的输出但是一旦我尝试将RDD发送回kafka，它每次都会出错。我不太确定我的代码有什么问题。

 def sendkafka(messages):
    kafka = KafkaClient(kafkaip)
    producer = SimpleProducer(kafka, 'dev_test_upstream')
    for message in messages:
         producer.send_messages(message)

Answer 1

您确定您的sendkafka（）方法按预期工作。看起来您提供了部分列表，因此不确定该部分是否正常工作。我有一个如何从Python向Kafka发送数据的示例，看看Python client for publishing and consuming message from Apache Kafka，您可能想要使用producer.py而不是sendKafka（）方法