使用UDP

Question

在我的系统中，有许多传感器生成数据。我希望他们直接将生成的数据发送到Kafka，而不会干扰网络编程。

据我所知，Kafka（Confluent版本）支持HTTP用于此类情况，但我的传感器不使用Http协议发送数据，并且他们有自己的协议。

现在我的问题是：

1. Kafka收到（了解）网络布局数据抽象？ 我的意思是它可以接收二进制数据（物理网络布局数据） 或更高的数据抽象布局，如数据链路布局，网络布局......
2. 是否可以直接向Kafka发送数据？
3. 如果没有，是否可以自定义Kafka源代码以适应 情况？

一般，是否可以使用UDP协议将数据从传感器发送到Kafka？

Answer 1

您可以实现使用您的格式的KafkaProducer，或者将您的格式转换为合适的文本格式，然后将其格式化为Kafka的通用kafka-console-producer.sh。

Answer 2

您可以在节点中使用桥接到Kafka，将这些消息转换为Kafka可以理解的内容（类似于信封）。

您可以在Github中找到此类软件的实现

https://github.com/agaoglu/udp-kafka-bridge

这个用于将系统日志消息发送到Kafka主题。