Question

kafka-python客户端支持Kafka 0.9，但显然不包含新的身份验证和加密功能，所以我的猜测是它只适用于开放服务器（如以前的版本）。在任何情况下，即使Java客户端也需要一个特殊的消息中心登录模块来连接（或者从示例中看起来如此），这表明除非有类似的模块可用于Python，否则什么都不会起作用。

我的具体情况是我想使用也在Bluemix（Apache Spark服务）中托管的Jupyter笔记本中的消息中心服务。

Answer 1

我能够使用kafka-python库进行连接：

$ pip install --user kafka-python

然后......

from kafka import KafkaProducer
from kafka.errors import KafkaError
import ssl

############################################
# Service credentials from Bluemix UI:
############################################
bootstrap_servers =   # kafka_brokers_sasl
sasl_plain_username = # user
sasl_plain_password = # password
############################################

sasl_mechanism = 'PLAIN'
security_protocol = 'SASL_SSL'

# Create a new context using system defaults, disable all but TLS1.2
context = ssl.create_default_context()
context.options &= ssl.OP_NO_TLSv1
context.options &= ssl.OP_NO_TLSv1_1

producer = KafkaProducer(bootstrap_servers = bootstrap_servers,
                         sasl_plain_username = sasl_plain_username,
                         sasl_plain_password = sasl_plain_password,
                         security_protocol = security_protocol,
                         ssl_context = context,
                         sasl_mechanism = sasl_mechanism,
                         api_version=(0,10))

# Asynchronous by default
future = producer.send('my-topic', b'raw_bytes')

# Block for 'synchronous' sends
try:
    record_metadata = future.get(timeout=10)
except KafkaError:
    # Decide what to do if produce request failed...
    log.exception()
    pass

# Successful result returns assigned partition and offset
print (record_metadata.topic)
print (record_metadata.partition)
print (record_metadata.offset)

这对我来说非常适用于Bluemix spark作为jupyter笔记本的服务，但请注意，这种方法并没有使用spark。代码刚刚在驱动程序主机上运行。

Answer 2

已请求Kafka Python客户端中的SASL支持：https://github.com/dpkp/kafka-python/issues/533但在支持Message Hub使用的用户名/密码登录方法之前，它将无法正常工作

Answer 3

在Bluemix Apache Spark Service本机支持之前，您可以采用与Realtime Sentiment Analysis project相同的方法。可以在cds labs spark samples github repo上找到帮助程序代码。

Answer 4

我们在非Java语言支持的文档中添加了一些文本 - 请参阅“在非JAVA应用程序中连接和认证”部分： https://www.ng.bluemix.net/docs/services/MessageHub/index.html

我们当前的身份验证方法是非标准的，Apache项目不支持，但它是一种临时解决方案。 Message Hub团队正在与Apache Kafka社区合作开发KIP-43。完成此操作后，我们将更改Message Hub身份验证实现以匹配，并且可以使用任何语言实现客户端到该规范。

我可以从Python调用Bluemix消息中心服务吗？

4 个答案: