如何使用kafka-kusto-sink和调试

时间:2019-02-15 02:01:23

标签: azure-data-explorer

将数据摄取到kakfka集群中,该集群可以使用kafka-sink-azure-kusto将数据发送到adx kusto数据库。

iam成功将数据摄取到kafka集群,并且没有将数据传输到kusto db。如何调试呢?我可以验证的任何日志。

我试图检查代理日志中没有错误

ref:https://github.com/Azure/kafka-sink-azure-kusto/blob/master/README.md

1 个答案:

答案 0 :(得分:1)

能否请您提供有关如何运行Kafka以及如何设置连接器的更多信息?

调试步骤为:

  1. 代理日志应提及连接器已正确拾取,您是否在日志中看到该行?

  2. 查看连接器日志应该显示有关实际情况的更多信息。也许您会在那看到一些错误。 /var/log/connect-distributed.log

  3. 尝试通过任何其他方法提取数据?就像SDK's

  4. 之一
  5. 尝试根据delpoy

  6. 中详细介绍的步骤运行安装程序

更新:有关此连接器设置的详细信息,请参见以下问题Kafka connect cluster setup or launching connect workers

此外,合流有一些有用的文档:https://docs.confluent.io/current/connect/userguide.html