我已安装spark-1.5.1独立模式并使用spark-submit命令获取结果。 实际上我想使用spark hidden rest API获得结果。当spark-driver停止时,我无法使用rest API获得结果。
在使用spark-submit挖掘之后,我发现在输出所有spark-context后,驱动程序停止了。
任何人都可以帮忙
以下是控制台结果: -
结果 - 行数为:60,行数为b:29 15/11/01 08:46:08 INFO SparkContext:从shutdown hook调用stop() 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ metrics / json,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ stages / stage / kill,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ api,null} 15/11/01 08:46:08 INFO ContextHandler:停止了o.e.j.s.ServletContextHandler {/,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ static,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ executors / threadDump / json,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ executors / threadDump,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ executors / json,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ executors,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ environment / json,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ environment,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ storage / rdd / json,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ storage / rdd,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ storage / json,null} 15/11/01 08:46:08 INFO ContextHandler:停止了o.e.j.s.ServletContextHandler {/ storage,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ stages / pool / json,null} 15/11/01 08:46:08 INFO ContextHandler:停止了o.e.j.s.ServletContextHandler {/ stages / pool,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ stages / stage / json,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ stages / stage,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ stages / json,null} 15/11/01 08:46:08 INFO ContextHandler:停止了o.e.j.s.ServletContextHandler {/ stages,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ jobs / job / json,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ jobs / job,null} 15/11/01 08:46:08 INFO ContextHandler:停止o.e.j.s.ServletContextHandler {/ jobs / json,null} 15/11/01 08:46:08 INFO ContextHandler:停止了o.e.j.s.ServletContextHandler {/ jobs,null} 15/11/01 08:46:08 INFO SparkUI:在http://182.95.208.242:4040停止Spark Web UI 15/11/01 08:46:08 INFO DAGScheduler:停止DAGScheduler 15/11/01 08:46:08 INFO SparkDeploySchedulerBackend:关闭所有执行程序 15/11/01 08:46:08 INFO SparkDeploySchedulerBackend:要求每个执行者关闭 15/11/01 08:46:09 INFO MapOutputTrackerMasterEndpoint:MapOutputTrackerMasterEndpoint已停止! 15/11/01 08:46:09 INFO MemoryStore:MemoryStore已清除 15/11/01 08:46:09 INFO BlockManager:BlockManager已停止 15/11/01 08:46:09 INFO BlockManagerMaster:BlockManagerMaster已停止 15/11/01 08:46:09 INFO OutputCommitCoordinator $ OutputCommitCoordinatorEndpoint:OutputCommitCoordinator停止了! 15/11/01 08:46:09 INFO SparkContext:成功停止了SparkContext 15/11/01 08:46:09 INFO ShutdownHookManager:关闭挂钩调用 15/11/01 08:46:09 INFO ShutdownHookManager:删除目录/ tmp / spark-a2d4622c-d3c0-447b-aa73-21a3b6af1539 15/11/01 08:46:09 INFO RemoteActorRefProvider $ RemotingTerminator:关闭远程守护进程。 15/11/01 08:46:09 INFO RemoteActorRefProvider $ RemotingTerminator:远程守护程序关闭;进行冲洗远程运输。 ipieawb1 @ master:〜/ spark-1.5.1 / bin $
我正在尝试运行简单的代码,例如
公共类SimpleApp { public static void main(String [] args)抛出InterruptedException {
SparkConf conf = new SparkConf().setAppName("Simple Application").
setMaster("spark://master.genpact.com:7078").set("spark.eventLog.enabled", "true");
File tempDir=Files.createTempDir();
tempDir.deleteOnExit();
JavaSparkContext sc = new JavaSparkContext(conf);
java.util.List<String> strings = Arrays.asList("Hello", "World");
JavaRDD<String> s1 = sc.parallelize(strings);
JavaRDD<String> s2 = sc.parallelize(strings);
// Varargs
JavaRDD<String> sUnion = sc.union(s1, s2);
System.out.println("Union *******"+sUnion.collect());
} }