Question

我正在尝试通过java驱动程序向mesos集群提交spark作业。没有防火墙处于活动状态，并且mesos控制台显示8GB ram可用且3个可用核心。然而，我得到＆＃34;检查集群UI以查看是否有足够的可用资源＆＃34;

继承代码

           SparkConf conf = new SparkConf();
           conf.setMaster(mesosmasterstring);


            conf.setAppName("demotask1");
            conf.setJars(scalaJarList);
            Properties sparkProps = FileLoader
                    .load(EnvironmentConstants.SPARK_PROPS_FILE_PATH);

            Set<Object> propNames = (sparkProps.keySet());
            for (Object kobj : propNames) {
                conf.set(kobj.toString().trim(),
                        sparkProps.getProperty(kobj.toString()).trim());

            }

//I have set the following via the code above:
//spark.executor.uri=https://s3-us-west-2.amazonaws.com/minimo-dev2/spark/spark-//1.3.1-bin-hadoop2.4.tgz 



        SparkContext sc = new SparkContext(conf);
        JavaSparkContext javaSparkContext = new JavaSparkContext(sc);

我的网络服务器登录驱动程序进程

2015-08-20 15：56：04,981 WARN [TaskSchedulerImpl] - 初始作业未接受任何资源;检查您的集群UI以确保工作人员已注册并具有足够的资源

2015-08-20 15：56：05,974 DEBUG [TaskSchedulerImpl] - parentName :, name：TaskSet_0，runningTasks：0

2015-08-20 15：56：06,975 DEBUG [TaskSchedulerImpl] - parentName :, name：TaskSet_0，runningTasks：0

2015-08-20 15：56：07,975 DEBUG [TaskSchedulerImpl] - parentName :, name：TaskSet_0，runningTasks：0

2015-08-20 15：56：11,979 DEBUG [TaskSchedulerImpl] - parentName :, name：TaskSet_0，runningTasks：0

2015-08-20 15：56：12,979 DEBUG [TaskSchedulerImpl] - parentName :, name：TaskSet_0，runningTasks：0 2015-08-20 15：56：15,692 DEBUG [BlockManagerMasterActor] - [actor]收到来自Actor的消息ExpireDeadHosts [akka：// sparkDriver / user / BlockManagerMaster＃1596206704]

2015-08-20 15：56：15,693 DEBUG [BlockManagerMasterActor] - [actor]处理消息（0.036696 ms）来自Actor的ExpireDeadHosts [akka：// sparkDriver / user / BlockManagerMaster＃1596206704]

2015-08-20 15：56：17,982 DEBUG [TaskSchedulerImpl] - parentName :, name：TaskSet_0，runningTasks：0

2015-08-20 15：56：18,983 DEBUG [TaskSchedulerImpl] - parentName :, name：TaskSet_0，runningTasks：0

2015-08-20 15：56：19,981 WARN [TaskSchedulerImpl] - 初始工作未接受任何资源;检查您的集群UI以确保工作人员已注册并具有足够的资源

Mesos Master.ip

I0820 15：56：10.687042 32074 master.cpp：4290]在调度程序-22a62438-bb19-4740-8428-7d632c958ef8 @ driverHost中向框架20150820-152021-1496194988-5050-32040-0000（demotask1）发送1个优惠： 33527

I0820 15：56：10.689906 32074 master.cpp：2884]处理DECLINE征集要约：[20150820-152021-1496194988-5050-32040-O934] for framework 20150820-152021-1496194988-5050-32040-0000（demotask1 ）at scheduler-62a62438-bb19-4740-8428-7d632c958ef8 @ driverHost：33527

I0820 15：56：10.690024 32074 hierarchical.hpp：761]恢复的cpus（）：1; MEM（）：2735;盘（）：4031;端口（）：[31000-32000]（总计：cpus（）：1; mem（）：2735;磁盘（）：4031;端口（ ）：[31000-32000]，分配:)从奴隶20150817-195212-2955812780-5050-29267-S0来自框架20150820-152021-1496194988-5050-32040-0000 I0820 15：56：11.688359 32075 master.cpp：4290]发送1个优惠到框架20150820-152021-1496194988-5050-32040-0000（demotask1）at scheduler-62a62438-bb19-4740-8428-7d632c958ef8 @ driverHost：33527

I0820 15：56：11.690852 32075 master.cpp：2884]处理DECLINE征集要约：[20150820-152021-1496194988-5050-32040-O935] for framework 20150820-152021-1496194988-5050-32040-0000（demotask1 ）at scheduler-62a62438-bb19-4740-8428-7d632c958ef8 @ driverHost：33527

I0820 15：56：11.690968 32075 hierarchical.hpp：761]恢复的cpus（）：1; MEM（）：2735;盘（）：4031;端口（）：[31000-32000]（总计：cpus（）：1; mem（）：2735;磁盘（）：4031;端口（ ）：[31000-32000]，分配:)从奴隶20150817-195212-2955812780-5050-29267-S1从框架20150820-152021-1496194988-5050-32040-0000 I0820 15：56：13.690409 32077 master.cpp：4290]发送1个优惠到框架20150820-152021-1496194988-5050-32040-0000（demotask1）at scheduler-62a62438-bb19-4740-8428-7d632c958ef8 @ driverHost：33527

I0820 15：56：13.692711 32077 master.cpp：2884]处理DECLINE征集要约：[20150820-152021-1496194988-5050-32040-O936]框架20150820-152021-1496194988-5050-32040-0000（demotask1 ）at scheduler-62a62438-bb19-4740-8428-7d632c958ef8 @ driverHost：33527

I0820 15：56：13.692827 32077 hierarchical.hpp：761]恢复的cpus（）：1; MEM（）：2735;盘（）：4031;端口（）：[31000-32000]（总计：cpus（）：1; mem（）：2735;磁盘（）：4031;端口（ ）：[31000-32000]，分配:)从奴隶20150817-195212-2955812780-5050-29267-S2从框架20150820-152021-1496194988-5050-32040-0000 I0820 15：56：15.693084 32070 master.cpp：4290]发送1个优惠到框架20150820-152021-1496194988-5050-32040-0000（demotask1）at scheduler-62a62438-bb19-4740-8428-7d632c958ef8 @ driverHost：33527

I0820 15：56：15.695425 32070 master.cpp：2884]处理DECLINE征集要约：[20150820-152021-1496194988-5050-32040-O937] for framework 20150820-152021-1496194988-5050-32040-0000（demotask1 ）at scheduler-62a62438-bb19-4740-8428-7d632c958ef8 @ driverHost：33527

Mesos slave.Ip

I0820 15：56：00.962321 32133 slave.cpp：4179]查询超额可写资源的资源估算器

I0820 15：56：00.962446 32133 slave.cpp：4193]从资源估算工具中收到超额可写资源

I0820 15：56：15.967767 32128 slave.cpp：4179]查询超额可写资源的资源估算器

I0820 15：56：15.967869 32128 slave.cpp：4193]从资源估算器收到超额可写的资源 I0820 15：56：30.331955 32132 slave.cpp：3842]当前磁盘使用率为18.49％。允许的最大年龄：5.005413813717211天 I0820 15：56：30.969789 32132 slave.cpp：4179]查询超额可写资源的资源估算器 I0820 15：56：30.969914 32132 slave.cpp：4193]从资源估算器收到超额可写的资源 I0820 15：56：45.971680 32129 slave.cpp：4179]查询超额可写资源的资源估算器 I0820 15：56：45.971807 32129 slave.cpp：4193]从资源估算器收到超额可写的资源 I0820 15：57：00.972995 32134 slave.cpp：4179]查询超额可写资源的资源估算器

使用java驱动程序代码

0 个答案: