我在hdfs上有多个文件我想通过spark sql JDBC查询。 我可以启动一个spark shell并使用" Sqlcontext"等等。如果我想保持sqlcontext打开以便我可以通过JDBC连接一个单独的应用程序来向它发出查询,会发生什么?
注意我知道我可以运行" spark-shell"并打开一个本地火花实例,并导入sqlcontext,但我的文件大小(100GB),我在一台机器上只有16GB,所以我希望它利用我的50节点集群一个主人和49个奴隶的表现。或者只能用单个节点激活sql?