可以访问Heron中的本地文件夹

Question

我编写了Heron拓扑，该拓扑从本地文件夹中获取数据并进行处理。但是，除了.pex文件中描述的文件夹以外，heron看不到其他任何文件夹。如何读取.pex声明的文件夹之外的数据？

Answer 1

启动苍鹭实例后，它应该可以访问同一容器中的文件。一个示例是他们可以将日志写入./logs/INSTANCE_ID.log，这意味着它具有对这些文件的写访问权。

您能否检查正在运行的容器中是否有数据文件，并且实例使用正确的文件路径来访问这些文件？

Answer 2

理想情况下，您不会依赖拓扑中的本地数据。最好将螺栓需要访问的所有数据放在外部系统中，例如数据库或key：value存储。然后，您将需要查询（并在内存中本地缓存）该数据。如果您需要为每个螺栓添加更多副本，这还具有更好地缩放的优势，因为避免了本地文件上可能的资源争用。

如果您确实希望螺栓可以在本地访问数据，则答案取决于您使用的调度程序。这可能涉及将文件添加到计划程序使用的苍鹭实例容器映像中，并且可能意味着每次更改数据时都要重建容器。同样，我建议使用外部数据存储。