Hadoop对云延迟的影响

Question

我是没有云技术的大数据架构师。

我一直在Hadoop onPremise上工作，我知道服务器本地性是一个非常严重的问题，因为它可能会应用更高的延迟。

今天，我想知道与Hadoop在云上的集成：

1. 如果云提供商（AWS，AZURE ...）有可能 在同一地点提供相同群集的主机以减少延迟？
2. 我们如何管理从本地传输大量数据的延迟 机器上云？

Answer 1

我得到了答案，一些云提供商允许将VM放在相同的地理区域中（例如，天蓝色提供了选择可用区域的可能性）。

Answer 2

我认为这应该在ServerFault上，而不是StackOverflow上。也就是说，我仍然可以尝试提供帮助！

• 这些云提供商可以选择系统托管在哪些区域。它们不是“本地”，因为它们位于远程数据中心中，但是如果您在同一区域中运行它们，则它们之间的延迟将比您预期的要快得多。这些公司特别努力（至少与AWS合作），以使其即使在数据不在同一地区时-甚至在不同国家/地区之间仍可在他们的网络范围内收发消息仍然非常快。许多人会在AWS内部创建VPN，其唯一目的是能够使用其网络，因为它们的延迟非常短，而且非常令人惊讶。

• 通常，您不必担心软件处理延迟之外的延迟。这是使用云提供商的好处之一。