在Junit中运行spark应用程序

Question

我有一个使用Apache Spark的java应用程序。我使用spark-submit运行它。

我使用的命令格式为：

bin/spark-submit \  
--master spark://sparkmaster:7077 \  
--class com.ic.spark.sto.test.Runner \ 
/spark-test/target/spark-test-2.0.jar \   
/spark-test/resources/smallfile.csv \ 
/spark-test/resources/config.properties \ 
true false false

我想将其作为JUnit运行。我已经创建了一个测试类，并将main方法的内容（从com.ic.spark.sto.test.Runner）复制到那里的测试中。当我运行它时，我收到一个错误，表明找不到core-site.xml。在那一刻我试图在具有本地spark安装的机器上运行它。我认为我的应用程序不知道这是什么火花。如何更改它以便找到火花并正确执行？

Answer 1

我将main的内容复制并粘贴到JUnit类中。然后我创建了一个TestRunner clas，开始关闭JUnit。

要执行我使用与上面相同的命令，但是传递--class com.ic.spark.sto.test.TestRunner而不是--class com.ic.spark.sto.test.Runner

core-site.xml文件位置错误。