关于迪斯科文件访问的困惑

时间:2010-03-31 18:27:22

标签: python disco

我有一个简单的2节点集群(master on one,worker on both)。我尝试使用:

python disco/util/distrfiles.py bigtxt /etc/nodes > bigtxt.chunks

分发文件(工作正常)。

我预计这意味着进程会产生并只对本地数据进行操作,但似乎他们有时会尝试访问另一台机器上的数据。

相反,我完全复制了数据目录。一切都很好,直到减少部分。我收到了错误:

CommError: Unable to access resource (http://host:8989/host/8b/sup@4f6:d2f6:34b3b/map-index.txt): 

似乎该项目预计将通过http直接访问。但我不认为这种情况正确发生。文件是否应该由http来回传递?我必须有一个用于多节点MapReduce的分布式FS吗?

0 个答案:

没有答案