我想用Java实现一个独立的Spark程序。我正在使用Amazon集群来运行该应用程序。由于我是初学者，我想知道哪个是编写Spark程序的最佳环境。它还提供调试功能吗？ 目前，我正在本地机器上编写Eclipse程序，并通过Maven-Wagon将jar导出到AWS。问题是我无法使用调试。 任何帮助表示赞赏！
答案 0 :(得分：0)
如果在本地模式下运行，可以在eclipse中调试它。创建像new JavaSparkContext("local[*]", "my app")这样的JavaSparkContext将以本地模式运行您的应用程序。
答案 1 :(得分：0)
您不需要在本地计算机上安装spark。只需在项目POM中添加Spark，scala依赖项并在eclipse中对其进行调试。像下面这样在Confing中传递本地代码，即可调试代码。
SparkConf sparkConf =新的SparkConf（）。setMaster（“ 本地”）。setAppName（应用程序名称）