我使用SpatialHadoop以8700万点存储和索引数据集。然后我应用各种范围查询。
我测试了3种不同的群集配置:1,2和4个节点。 不幸的是,随着节点数量的增加,我没有看到运行时间减少。
为什么没有水平缩放效果?
答案 0 :(得分:0)
您的文件有多大(兆字节)?虽然它有8700万点,但它仍然足够小,以至于Hadoop决定只创建一个或两个分割。
如果是这种情况,您可以尝试减小HDFS配置中的块大小,以便将文件拆分为多个块。
另一种可能性是您可能在同一台计算机上运行虚拟节点,这意味着您无法获得真正的分布式环境。