如何确定在Python中使用的HDFS文件的位置?

时间:2014-05-28 17:42:57

标签: python hadoop celery hdfs mapr

我有一个使用Celery在计算群集中运行Python任务来管理队列的系统。这些任务对存储在MapR-FS中的数据进行操作(它暴露了Hadoop HFDS API,因此适用于Hadoop HDFS 的技术应该在MapR-FS上工作)。

我希望能够确定存储在MapR-FS中的文件的位置,并将任务分配给在对文件具有本地访问权限的特定群集节点上运行。

这可能吗?

0 个答案:

没有答案