没有使用Maven的Apache Beam Program执行

Question

我想使用Apache Spark runner运行一个简单的Beam Program示例。 1）我能够成功地在本地编译程序。 2）我想将JAR文件推送到没有安装Maven的QA盒子。 3）我看到Maven命令的例子，它编译并执行示例程序。 4）请告诉我在不安装Maven的情况下运行代码的步骤。 5）spark-submit命令运行正常。 6）你想让我把所有依赖的JAR文件逐个放入 /opt/mapr/spark/spark-2.1.0/jars目录执行程序

感谢。

Answer 1

您可以按照Beam Spark Runner documentation。

中的说明执行此操作

这些说明通过执行以下操作演示了如何提交申请：

1. 使用依赖项打包您的应用程序，作为超级jar。
2. 使用{"Identifiers":identifier_websites, "Names":name_websites, "Emails":email_websites} 提交打包的应用程序。