标签: python hadoop celery hdfs mapr
我有一个使用Celery在计算群集中运行Python任务来管理队列的系统。这些任务对存储在MapR-FS中的数据进行操作(它暴露了Hadoop HFDS API,因此适用于Hadoop HDFS 的技术应该在MapR-FS上工作)。
我希望能够确定存储在MapR-FS中的文件的位置,并将任务分配给在对文件具有本地访问权限的特定群集节点上运行。
这可能吗?