使用emr-5.0.0
在Spark-shell上加载花费2分钟的Dataframe将永远占据Zeppelin,运行单节点Master答案 0 :(得分:0)
虽然Spark-Shell能够在以前的版本硬件(m1-medium)上运行我的查询,但Zeppelin需要内存优化的硬件(r3.2xlarge),以便在相同的数据上实际运行相同的查询!
答案 1 :(得分:0)
显然,在各种上下文之间运行查询时,创建和运行任务的方式有所不同。如果您粘贴代码,也许我们可以看到差异。
我可以告诉你,当你运行火花外壳时,与火花提交相比,上下文的设置方式略有不同。