我有一个简单的2节点集群(master on one,worker on both)。我尝试使用:
python disco/util/distrfiles.py bigtxt /etc/nodes > bigtxt.chunks
分发文件(工作正常)。
我预计这意味着进程会产生并只对本地数据进行操作,但似乎他们有时会尝试访问另一台机器上的数据。
相反,我完全复制了数据目录。一切都很好,直到减少部分。我收到了错误:
CommError: Unable to access resource (http://host:8989/host/8b/sup@4f6:d2f6:34b3b/map-index.txt):
似乎该项目预计将通过http直接访问。但我不认为这种情况正确发生。文件是否应该由http来回传递?我必须有一个用于多节点MapReduce的分布式FS吗?