Apache Kafka / NiFi可以将数据转换为JSON文件吗?

时间:2017-10-27 09:59:43

标签: json api apache-kafka apache-nifi attunity

假设您有一个业务应用程序在其自己的环境中生成和存储丰富的产品主数据,您可以在CouchBase数据库中使这些数据可用。

为了将业务应用程序环境中的数据转换为CouchBase,我们假设我想使用Kafka来广播更改,并使用Nifi将其分发到最终用途(CouchBase)。

但CouchBase采用JSON格式文件。我可以使用Kafka或Nifi将提取的数据转换为JSON格式吗?我知道我可以在业务应用程序和Kafka之间提供诸如Attunity之类的解决方案来实时复制数据。但是,让我们假设没有预算来实现解决方案关联,因此我们将暂时使用业务应用程序端的REST API并使用(基于所做的更改)拉取该数据Kafka,c 我转换数据和卡夫卡一起进入JSON?还是NiFi?

修改

我之所以想知道NiFi是否可以做到这一点,是因为我们的风景比我描述的要复杂一点。因为在CouchBase和业务应用程序之间,您有: [商业应用] - [X] - [Kafka] - [NiFi] - [带有KONG API层的DC / OS] - [CouchBase Cluster]。

我想知道我是否应该在X的位置实现数据复制的新解决方案,或者我应该只使用Business App REST API并使用Kafka从REST API中提取数据并转换我的数据到NiFI的JSON。

1 个答案:

答案 0 :(得分:0)

Kafka Connect有一个Couchbase sink。这将使您能够完全按照自己的意愿行事。简单的基于配置文件的方法。