使用Flume在Kafka消息中出现意外的字符

Question

我有一个使用Flume＆amp; amp;的摄取管道。 Kafka，使用CSV文件，在Flume拦截器中转换JSON中的事件并在Kafka中推送它。

当我在发送给Kafka之前记录消息时，它是一个正常的，有效的JSON。但是当从Kafka消费相同的消息时，我在尝试序列化时遇到错误，说它不是有效的JSON。

事实上，在我的消息开头我有未被识别的字符：

e.g。

我认为它代表了当发布到Kafka时，水槽试图对该事件进行的空标题。但我似乎无法防止这种情况发生。

有谁知道如何从正在发送的Flume事件中完全删除标题，或者更准确地删除那些字符？

Answer 1

看起来像一个基本的字符编码问题，就像kafka在Linux上运行而生产者在Windows机器上运行一样。您可能需要三重检查所有计算机是否处理utf-8编码的消息。

this post应该是你的朋友。