使用NIFI的案例

时间:2016-06-14 17:49:29

标签: apache-nifi

我对Nifi及其功能以及相应的用例有疑问。

我读过Nifi的确打算创建一个允许基于流程处理的空间。在玩了一下Nifi之后,我也意识到它能够以对我有用的方式建模/塑造数据。公平地说,Nifi也可以用于数据建模吗?

谢谢!

2 个答案:

答案 0 :(得分:9)

数据建模是一个有点过载的术语,但在您希望以对您有用的方式建模/塑造数据的背景下,听起来它可能是一种可行的方法。剩下的就是这个假设。

虽然NiFi采用与基于流程编程(FBP)密切相关的原理和设计的数据流作为手段,但该功能是将数据从A点提取到B(并且可能再次返回)。当然,系统本身并不是以相同的协议,格式或模式进行交谈,因此需要有一些东西将数据塑造成消费者期望从生产者提供的内容。这进入了常见的企业集成模式(EIP)[1],例如中介和路由。从更广泛的意义上讲,它只是将数据提供给需要它的人(系统,用户等)何时以及如何需要它。

NiFi的创始人之一Joe Witt在Meetup的数据科学背景下发表了一篇可能与数据塑造理念相符的精彩演讲。幻灯片可用[2]。

如果您有任何其他问题,我会指出您查看社区邮件列表[3]并提出任何其他问题,以便您可以深入了解并获得更广泛的视角。

答案 1 :(得分:7)

数据建模对很多人来说可能意味着许多事情,所以我会小心使用这个术语。我所想的非常清楚的是,Apache NiFi是一个很好的系统,用于帮助将数据模型化为正确的格式,以及后续分析和处理所需的模式和内容。 NiFi具有可扩展的模型,因此您可以添加可以执行此操作的处理器,或者您可以在许多情况下使用现有处理器,甚至可以使用ExecuteScript处理器,以便您可以动态编写脚本来操作数据。