Spark应用程序验证的测试框架

Question

我正在寻找您对我们的Spark应用程序测试框架的建议/帮助。 我们有一个spark应用程序，它处理来自HDFS的输入数据并将处理后的输出数据推送到HDFS。我们计划自动化测试此火花应用程序的过程。

对于如何自动化测试或是否有任何可用于测试火花应用程序/作业的框架，我将不胜感激。

-SRI

Answer 1

可以在没有任何其他Spark相关框架的情况下检查Spark代码。只需将配置主机设置为＆＃34; local＆＃34;：

val config = new SparkConf().setMaster("local")

默认情况下，计算机文件系统用作HDFS。这种方法可以在通常的测试框架（ScalaTest等）中使用。

注意：必须将SparkContext声明为所有测试的单例。