Question

我正在尝试运行一个简单的Twitter情绪分析代码，该代码现在运行正常，但我不知道发生了什么变化，这给了我这个错误。我的命令行有所有必需的参数，包括--class --master --jars等。我唯一不同的是运行sudo apt-get install 7-jdk命令并更新了java版本。我正在运行spark 1.3.1所以这个java更新应该不是问题......我想。现在即使我运行sbt assembly或sbt run之类的命令，我也会收到一条错误，说汇编不是一个知道命令。

这是我的命令行：

./ bin / spark-submit --class Sentimenter --master local [4] --jars /home/ubuntu/spark/spark-example-master/target/scala-2.10/Sentiment_Analysis-assembly-1.0.jar

这是我得到的输出：

错误：必须指定主资源（JAR或Python文件）使用--help运行使用帮助或--verbose运行调试输出使用Spark的默认log4j配置文件：org / apache / spark / log4j-defaults.properties

任何建议都会很棒！

Answer 1

来自get_stylesheet_directory_uri() . // http://example.com/wp-content/themes/yourtheme '/files/' . $sub_folder . '/' . $value // /files/subfolder/filename.txt：

spark-submit --help

您需要在选项之后在命令行上添加jar或python文件。所以，在你的例子中，你需要做

Usage: spark-submit [options] <app jar | python file> [app arguments]

请注意，我删除了./bin/spark-submit --class Sentimenter --master local[4] /home/ubuntu/spark/spark-example-master/target/scala-2.10/Sentiment_Analysis-assembly-1.0.jar。您可以这样做来添加其他 jar（依赖项）。如果您拥有的只是一个jar，那就是主要资源，并且在命令行上没有任何--jars选项。

Answer 2

这可能听起来很荒谬。但这是我的情况。

我有超长的命令行，所以每个参数都被分成不同的行以便可读。

当参数中有太多空格时，我确实报告了这个错误。所以我删除了不必要的空格，错误就消失了。

如果您遵循了上述建议并且仍然存在奇怪的错误，请查看您的额外空格。

错误：必须指定主资源（JAR或Python文件） - Spark scala

2 个答案: