如何使用Nifi将数据从Kafka传输到Cassandra？

Question

我想使用Kafka中的Nifi从Cassandra收集数据。我为此创建了这样的流程。

我的数据库连接配置如下：

这是我的ConvertJsonToSQL处理器的配置：

我在ConvertJsonToSQL处理器上遇到以下错误。

  

ConvertJSONToSQL [id = d25a7e27-0167-1000-2d9a-2c969b33482a] ConvertJSONToSQL [id = d25a7e27-0167-1000-2d9a-2c969b33482a]由于无效而无法处理会话；以管理方式产生的处理器1秒钟：java.lang.NullPointerException

注意：我在dbschema库中添加了Nifi驱动程序jar。

您认为我应该怎么解决这个问题？

Answer 1

根据可用的信息，很难对错误进行故障排除，而ConvertJSONToSQL失败的最可能原因是无效的JSON。与documentation仅有一点：

  

传入的FlowFile应该是“平面” JSON消息，这意味着它包含一个JSON元素，并且每个字段都映射到一个简单的类型。

我看不到您在AttributesToJSON处理器中所做的事情，但我相信twitter通常会返回嵌套的JSON，并且您可能还没有对其进行足够的扁平化。

---

解决此问题的一种简单的通用方法是，从顶部启动处理器，并检查每个处理器之前/之后的队列，直到发现不希望的内容为止。

借助此方法，您应该能够准确地查明问题，并且如果需要，可以使用以这种方式发现的信息来创建可复制的示例并提出更详细的问题。