标签： apache-spark amazon pyspark emr
我试图弄清楚是否可以在python中本地使用远程EMR集群（AWS）的spark上下文。我已经设置了集群，但是本地定义的SparkContext与远程主服务器似乎不起作用。有人有经验吗？在远程笔记本上工作是有限的，因为您无法创建python模块和文件。由于计算资源，本地工作受到限制。可以选择SSH到主节点，但我不能使用图形IDE，如pyCharm