PySpark结构化流测试支持

Question

我进行了很多调查，但是无法获得关于如何测试我的pyspark结构化流水线工作（从Kafka主题到S3的学习）以及如何构建持续集成（CI）的任何帮助或资源。 ）/连续部署（CD）。

1. 是否可以测试（单元测试，集成测试）pyspark结构化流？

2. 如何构建持续集成（CI）/持续部署（CD）？

Answer 1

1. 请参阅https://bartoszgajda.com/2020/04/13/testing-spark-structured-streaming-using-memorystream/-代码在Scala中，但您应该可以转换为PySpark
2. 从詹金斯（https://www.jenkins.io/）开始