用于捕获网络流量的Spark接收器

Question

我想写一个火花流媒体应用程序。我编写了一个使用java库捕获数据包的scala代码。现在，我想将这些数据包发送到火花流接收器程序（0.9）。我应该编写一个新的火花接收器代码，还是可以在已编写的scala代码中创建接收器以捕获数据包？怎么做到呢？有谁可以帮助我。

Answer 1

您是否看过在spark中创建自定义接收器的说明。

http://spark.apache.org/docs/latest/streaming-custom-receivers.html

一般来说很容易。但是，由于我不确定您现有的数据包捕获代码是如何工作的（它是实时捕获并转储到文件中，是否可以更改为存储在ArrayBuffer中等），因此很难说您可以使用多少代码重用。