Question

我还想知道是否有任何特殊字符在spark submit命令的参数中不能使用？

我也想知道我们可以将整个嵌套的Json String传递给spark submit命令中的参数吗？

另外一个问题是如何使用java代码（来自其他程序）运行spark程序？

那么，我们是否必须在集群（安装了spark的linux机器）上运行我们的其他程序来运行我的spark程序？

我在这件事上太糊涂了;请建议。

Answer 1

关于你的第二个问题：另外一个问题是如何使用java代码（来自其他程序）运行spark程序？ 在您的Java程序中，如果您有Maven项目，则可以添加maven依赖项。 Spark工件托管在Maven Central中。您可以在pom.xml中添加Maven依赖项

<dependency>
   <groupId>org.apache.spark</groupId>
   <artifactId>spark-core_2.10</artifactId>
   <version>1.3.1</version>
</dependency>

如果没有，您可以选择下载jar文件并将其作为外部库添加到您的Java代码中。在任何这些选项之后，您将能够在java程序中编写java spark代码。您可以在此处找到依赖项和jar文件：http://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10/1.4.1 是的，你需要一台带Spark的机器来运行你的代码。为了运行它，您可以从程序中创建一个可执行jar，并使用以下命令运行它：

$: spark/bin/spark-submit --class com.your.MainClass --master spark://your_master_node:7077 your_jar_file.jar

祝你好运！

spark submit命令中的命令行参数中是否有字符限制？

1 个答案: