Question

我正在尝试按如下方式读取流数据输入

public void delete(int item)
{
        while(head.data==item)              //For deleting head
    {

        head=head.link;

    }
    // For middle elements..................
    Node ptr, save;
    save=head;
    ptr=head.link;
    while(ptr!=null)
    {
        if(ptr.data==item)
        {
        Node next=ptr.link;
        save.link=next;
        ptr=next;
        }
        else
        {
            save=ptr;
            ptr=ptr.link;
        }

}
}

我面临以下错误：

object SocketReadExample {

    def main(args: Array[String]): Unit = {

      val sparkSession = SparkSession.builder
        .master("local")
        .appName("example")
        .config("spark.driver.bindAddress", "127.0.0.1")
        .getOrCreate()
      //create stream from socket
      val socketStreamDf = sparkSession.readStream
        .format("socket")
        .option("host", "localhost")
        .option("port", 50050)
        .load()

      val consoleDataFrameWriter = socketStreamDf.writeStream
        .format("console")
        .outputMode(OutputMode.Append())

      val query = consoleDataFrameWriter.start()

      query.awaitTermination()
       }
   }

Answer 1

我之前已经解决了这个问题。您应该在启动程序之前打开端口，如下所示：

nc -lk 50050

那么就可以了。

Answer 2

我遇到了同样的问题，你给了我检查火花驱动程序配置的想法，我通过设置这样的主机和端口来解决它。

val session: SparkSession = SparkSession.builder()
  .appName("Spark example")
  .master("local[2]")
  .config("spark.driver.host", "127.0.0.1")
  .config("spark.driver.port", "9999")
  .config("spark.testing.memory", "2147480000")
  .getOrCreate()

  ...

  val query = consoleDataFrameWriter.start()
  query.awaitTermination()

＆＃39;拒绝连接＆＃39;使用流式查询时出现异常

2 个答案: