检测火花流中丢失的连接

Question

我目前正在使用apache spark streaming。我想知道如何检测连接是否与外部数据源丢失，以便我们可以停止流式传输并重新启动连接到数据源。

提前感谢您提供任何帮助

Answer 1

向接收器添加侦听器，并在接收器停止时停止流式上下文。

示例：

streamContext.addStreamingListener(new StreamingListener() {

        @Override
        public void onReceiverStopped(StreamingListenerReceiverStopped arg0) {
            streamContext.stop(true, true);
        }
}