使用火花流处理实时数据包

Question

我已经使用jnetpcap接收了实时数据包。任何人都可以告诉我如何使用火花流从实时数据包中提取数据包标题和其他详细信息？

Answer 1

如果您已阅读spark streaming programming guide，则会发现您可以为流实施自定义Receiver。但是，实际指南中的示例很少，您必须阅读页面底部指定的示例和javadoc。

This project是一个自定义接收器，基本上是：

1. 扩展Receiver
2. 实施onStart和onStop方法
3. 调用store方法，使数据通过流

它应该就这么简单。解析包的哪些部分以及如何自己决定。根据编程指南，您只需在源级别提供包，并编写自己的变换器等。