使用hdfs中的工件创建DCO​​S服务

时间:2018-02-02 11:28:42

标签: hdfs mesos marathon dcos

我正在尝试创建从hdfs下载工件(自定义配置文件等)的DCOS服务。之前我使用的是简单的ftp服务器,但我想使用hdfs。允许在工件uri中使用“hdfs://”,但它无法正常工作。

伪像获取以错误结束,因为没有“hadoop”命令。奇怪的。我读到我需要为它提供自己的hadoop。

所以我下载了hadoop,在/ etc / profile中设置了必要的变量。当ssh到节点时,我可以毫无问题地运行“hadoop”,但服务仍然以相同的错误结束。

似乎在提取工件之后使用在服务中配置的环境变量,因为它们根本不起作用。此外,它看起来像服务完全忽略/ etc / profile文件。

所以我的问题是:如何设置所有内容,以便我的服务可以获取存储在hdfs上的工件?

1 个答案:

答案 0 :(得分:0)

Mesos抓取器supports local Hadoop clients,请检查您的agent configuration,尤其是rowCount设置。