单元测试火花流的最佳方法使用sbt

Question

我想知道什么是单元测试火花流动的最佳方法。

（使用sbt）

感谢。

Answer 1

本指南几乎涵盖了通过scalatest对Spark Streaming应用程序进行端到端测试：http://mkuthan.github.io/blog/2015/03/01/spark-unit-testing/

可以使用几乎相同的代码在pyspark中复制同样的行为。