如何运行这个使用spark的java程序?

时间:2017-04-14 16:26:49

标签: java eclipse apache-spark

首先让我先说我真的没有使用spark的经验,但我需要在程序中添加一些逻辑并在本地测试它。我相信的一切都已经运行并且已经设置好,因为这个程序是在生产环境中。如果它包含机密信息,我可能会遗漏一些代码明细。

我认为我想到的是我需要运行程序传递命令行参数,但是为了启动程序我真的很茫然。当我执行命令时

- 详细结果: 使用属性文件:null 错误:必须指定主资源(JAR或Python或R文件) 使用--help运行使用帮助或--verbose运行调试输出

属性文件位于src / main / resources中,主要资源(假设jar)并不确定。

如果有人可以帮助指出这一点,我将非常感激,我没有时间在Spark上学习/研究一堆,所以我为我假设相当微不足道的问题而道歉。非常感谢您提前寻求帮助。

2 个答案:

答案 0 :(得分:0)

只是让任何人偶然发现这个帖子。我必须运行将主类作为java应用程序运行的文件,并在运行配置中为它提供两个参数,该程序设计为在启动时使用。

答案 1 :(得分:0)

将您的MAVEN-GENERATED-JAR-FILE-0.0.1-SNAPSHOT.jar保存在您在边缘节点上进行spark-submit的文件夹中

然后试试这个

spark-submit --class com.xxxx.xxx.xxxxx.xxxxxx.yourProgramName MAVEN-GENERATED-JAR-FILE-0.0.1-SNAPSHOT.jar

一旦此方法有效,您可以添加其他必需参数。做推进工作。