我正在寻找使用pySpark在SparkStreaming上使用KCL。 任何指针都会有所帮助。
我尝试了一些spark Kinesis Ingeration链接。
但是我得到了JAVA类引用的错误。
似乎Python正在使用JAVA类。
我试过链接 火花流，室壁运动-ASL-assembly_2.10-2.0.0-preview.jar 试图在火花上应用KCL应用程序。
但仍有错误。
如果有人已经这样做，请告诉我。
如果我在网上搜索，我会更多地了解Twitter和Kafka。 Kinesis无法获得太多帮助。
使用的火花检验：1.6.3
答案 0 :(得分：0)
我遇到了同样的问题。 kinesis-asl jar丢失了几个文件。
为了克服这个问题，我在我的spark-submit中加入了以下罐子。
注意：我使用的是Spark 2.3.0，因此列出的jar版本可能与您在spark版本中使用的版本不同。
希望这有帮助。