将数据(2-3 GB)定期加载到在Kubernetes集群上运行的Apache Ignite集群的最佳方法

时间:2019-02-28 08:17:00

标签: apache kubernetes apache-nifi ignite

数据需要定期加载(例如每天一次),并且应以SQL格式存储,以便API可以运行SQL查询。 我们正在考虑从HDFS加载它。当前,我们正在考虑通过PutIgniteCache使用Apache Nifi。

我当时想也许我可以启动一个远程Ignite客户端节点,然后使用IgniteDataStreamer来流传输数据,但是我无法为此找到合适的文档。有更好的方法吗?

1 个答案:

答案 0 :(得分:2)

Nifi的文档说it uses the data streamer API,因此,除非您需要更多控制,否则它似乎不是一个坏选择(我要警告的是,在不使用Nifi之前,我从未听说过Nifi!)。