SpatialHadoop:没有多个计算节点的扩展

时间:2017-11-08 14:49:32

标签: hadoop hdfs spatial-index hadoop-plugins horizontal-scaling

我使用SpatialHadoop以8700万点存储和索引数据集。然后我应用各种范围查询。

我测试了3种不同的群集配置:1,2和4个节点。 不幸的是,随着节点数量的增加,我没有看到运行时间减少。

为什么没有水平缩放效果?

1 个答案:

答案 0 :(得分:0)

您的文件有多大(兆字节)?虽然它有8700万点,但它仍然足够小,以至于Hadoop决定只创建一个或两个分割。

如果是这种情况,您可以尝试减小HDFS配置中的块大小,以便将文件拆分为多个块。

另一种可能性是您可能在同一台计算机上运行虚拟节点,这意味着您无法获得真正的分布式环境。