Question

我正在尝试通过Cloudera Data Science Workbench在我们的内部Hadoop集群上实现GitHub项目（https://github.com/tomatoTomahto/CDH-Sensor-Analytics）。

在Cloudera Data Science Workbench上运行项目时，我收到错误＆＃34; No Brokers available＆＃34;尝试通过Python api KafkaProducer连接到Kafka时（bootstrap_servers =＆＃39; broker1：9092＆＃39;）[代码可以在https://github.com/tomatoTomahto/CDH-Sensor-Analytics/blob/master/datagenerator/KafkaConnection.py]中找到。

我已使用Kerberos进行身份验证。我试过给没有端口号的代理节点，也作为列表。但到目前为止还没有任何工作。

下面是堆栈跟踪。

NoBrokersAvailable: NoBrokersAvailable
NoBrokersAvailable                        Traceback (most recent call 
last)
in engine
----> 1 dgen = DataGenerator(config)

/home/cdsw/datagenerator/DataGenerator.py in __init__(self, config)
 39         
 40         self._kudu = KuduConnection(self._config['kudu_master'], 
self._config['kudu_port'], spark)
---> 41         self._kafka = 
KafkaConnection(self._config['kafka_brokers'], 
self._config['kafka_topic'])
 42 
 43         #self._kafka

/home/cdsw/datagenerator/KafkaConnection.py in __init__(self, brokers, 
topic)
  4 class KafkaConnection():
  5   def __init__(self, brokers, topic):
----> 6     self._kafka_producer = 
KafkaProducer(bootstrap_servers=brokers)
  7     self._topic = topic
  8     

/home/cdsw/.local/lib/python3.6/site-packages/kafka/producer/kafka.py 
in __init__(self, **configs)
333 
334         client = KafkaClient(metrics=self._metrics, 
metric_group_prefix='producer',
--> 335                              **self.config)
336 
337         # Get auto-discovered version from client if necessary

/home/cdsw/.local/lib/python3.6/site-packages/kafka/client_async.py in 
__init__(self, **configs)
208         if self.config['api_version'] is None:
209             check_timeout = 
self.config['api_version_auto_timeout_ms'] / 1000
--> 210             self.config['api_version'] = 
self.check_version(timeout=check_timeout)
211 
212     def _bootstrap(self, hosts):

/home/cdsw/.local/lib/python3.6/site-packages/kafka/client_async.py in 
check_version(self, node_id, timeout, strict)
806             try_node = node_id or self.least_loaded_node()
807             if try_node is None:
--> 808                 raise Errors.NoBrokersAvailable()
809             self._maybe_connect(try_node)
810             conn = self._conns[try_node]

NoBrokersAvailable: NoBrokersAvailable

我还尝试通过VPN连接来通过CLI连接工作台外部。我得到了同样的错误。

关于我缺少什么的任何指示？提前致谢！

Answer 1

第一步是确定网络路由是否已打开且代理是否已启动并正在侦听该端口。之后，您可以检查身份验证等。

你试过telnet <broker host> 9092吗？

除了advertised.listeners之外，您可能还需要明确设置listeners，我偶尔会看到一个奇怪的Java怪癖，它没有绑定到预期的网络接口（或者至少是一个我期待！）我不得不使用advertised.listeners强制它。

尝试通过Cloudera Data Science Workbench连接Kafka时没有经纪人可用

1 个答案: