Cloudera执行问题：问题：初始作业未接受任何资源

Question

我正在尝试使用SAP Spark Controller从SAP HANA数据库上的Cloudera的Quick Start Hadoop发行版（适用于我们的Linux VM）中获取一些数据。每次我在HANA中触发作业时，它都会卡住，并且我看到以下警告每10-15秒连续记录在SPARK Controller的日志文件中，除非我取消了该作业。

WARN org.apache.spark.scheduler.cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

尽管它像警告一样记录下来，但看起来像是一个问题，它阻止了作业在Cloudera上执行。据我了解，这要么是Cloudera上的资源管理问题，要么是端口被阻塞的问题。在我们的情况下，我们没有任何阻塞的端口，因此它必须是前者。

我们的Cloudera正在运行一个节点，并且将16GB RAM与4 CPU cores一起使用。

从整体配置来看，我有很多警告，但是我无法确定它们是否与问题相关。

这也是在Cloudera上分配RAM的方式

如果您能帮助我查明此问题的起因，那将非常好，因为过去几天我一直在尝试各种组合方式，但均未成功。

谢谢， Dimitar

Answer 1

您正试图将Cloudera Quickstart VM用于其功能之外的目的。这真的是供某人玩弄Hadoop和CDH，而不应用于任何生产级别的工作。

您的节点管理器只有5GB的内存可用于计算资源。为了执行任何工作，您需要创建一个Application Master（AM）和一个Spark Executor，然后为您的执行器保留一些存储空间，而这些存储空间是Quickstart VM上没有的。