如何从InputStream中读取？

Question

我有来自源的InputStream，想要使用Spark Streaming读取数据。

怎么做？

Answer 1

我对Spark Streaming的粗略理解是将ssc.receiverStream与自定义Receiver一起使用。

咨询Spark Streaming Custom Receivers。

Answer 2

Spark Streaming API提供了从不同来源读取数据的各种方法 - 从Spark 1.5.2开始，它提供了实用程序函数来从以下位置读取流数据： -

1. 二进制文件或文本文件或目录
2. 原始套接字
3. 队列

对于任何其他数据源，您需要提供流式接收器的自定义实现，并进一步利用以下 StreamingContext

的方法

  

StreamingContext.receiverStream [T]（receiver：Receiver [T]）

可以找到有关实现自定义流式接收器的详细信息here。