Apache Ignite IGFS：在写入完成之前开始读取大文件

Question

我有一个用例，其中我可能正在将100 G文件写入新的IGFS存储中。我想在文件末尾完成写入之前开始读取文件的开头，因为写入100G可能需要一两分钟。

由于无法加速硬件，因此我想通过在关闭写入流之前开始读取文件来加速软件。我已经写了几个GB，所以有很多数据可以开始读取。但是，当我为这种情况编写一个简单的测试时，会抛出异常，因为当我仍然在写入流时，IGFS似乎不让我从流中读取。并不是没有道理的……除了我知道在后台文件的第一段是写完的。

有人知道我该如何解决吗？我想我可以写一堆代码将文件分成500M片段或其他内容，但是我希望那不会太简单。

Answer 1

与其在IGFS模式下使用Ignite，不如在单独的memory-centric storage中以启用的本机持久性将其部署在标准配置中。让Ignite存储您在Hadoop中拥有的数据子集，该数据子集需要用于操作。此配置允许使用包括火花集成在内的所有Ignite API。