首先让我先说我真的没有使用spark的经验,但我需要在程序中添加一些逻辑并在本地测试它。我相信的一切都已经运行并且已经设置好,因为这个程序是在生产环境中。如果它包含机密信息,我可能会遗漏一些代码明细。
我认为我想到的是我需要运行程序传递命令行参数,但是为了启动程序我真的很茫然。当我执行命令时
- 详细结果: 使用属性文件:null 错误:必须指定主资源(JAR或Python或R文件) 使用--help运行使用帮助或--verbose运行调试输出
属性文件位于src / main / resources中,主要资源(假设jar)并不确定。
如果有人可以帮助指出这一点,我将非常感激,我没有时间在Spark上学习/研究一堆,所以我为我假设相当微不足道的问题而道歉。非常感谢您提前寻求帮助。
答案 0 :(得分:0)
只是让任何人偶然发现这个帖子。我必须运行将主类作为java应用程序运行的文件,并在运行配置中为它提供两个参数,该程序设计为在启动时使用。
答案 1 :(得分:0)
将您的MAVEN-GENERATED-JAR-FILE-0.0.1-SNAPSHOT.jar保存在您在边缘节点上进行spark-submit的文件夹中
然后试试这个
spark-submit --class com.xxxx.xxx.xxxxx.xxxxxx.yourProgramName MAVEN-GENERATED-JAR-FILE-0.0.1-SNAPSHOT.jar
一旦此方法有效,您可以添加其他必需参数。做推进工作。