Spring XD动态部署清单

时间:2014-07-26 22:42:10

标签: hadoop yarn spring-xd

我一直在大量阅读Spring XD文档,并且无法真正掌握我想要实现的与Hadoop YARN相关的两件事。

也许他们还没有得到支持或者永远不会得到支持 - 可能是因为我遗漏了一些让我的场景变得不合情理的东西......

  1. 在Hadoop YARN中,ApplicationMaster可以请求在特定主机上分配容器,即“机架感知”。这允许在存储HDFS数据的位置附近执行处理。
  2. 这种功能是否可以作为流部署清单中的评估属性公开?

    请注意,我不是在讨论分区流,其中相同的容器为流中的所有模块处理相同的消息。

    我希望在一组容器上部署流的中间有一个模块的许多实例 - 这些容器也可以保存我预先存在的大型静态数据的段。我希望根据评估规则为每次调用选择最合适的模块实例,该规则涉及将正在处理的每个消息映射到存储在其中一个容器上的相关预先存在的大文件。

    1. 一旦部署了流,是否可以在更多容器上动态“扩展”一个模块的部署。例如,如果流部署后,流中的一个模块被证明是瓶颈,那么该模块的实例数量是否会在更多容器中动态增加?
    2. 由于 尼克

0 个答案:

没有答案