Question

我正在使用local master：

运行Spark Standalone

val spark = SparkSession.builder.master("local").appName("SparkSingleStagePipeline").getOrCreate

这一直没有问题，但现在挂在本地ipv6查找。这是通过对（挂起）spark进程执行线程转储并看到main线程停在此处而发现的：

"main" #1 prio=5 os_prio=31 tid=0x00007fed6200b000 nid=0x1c03 runnable [0x000070000ef68000]
   java.lang.Thread.State: RUNNABLE
    at java.net.Inet6AddressImpl.lookupAllHostAddr(Native Method)
    at java.net.InetAddress$2.lookupAllHostAddr(InetAddress.java:928)
    at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1323)
    at java.net.InetAddress.getLocalHost(InetAddress.java:1500)
    - locked <0x000000076f5d1f98> (a java.lang.Object)
    at org.apache.spark.util.Utils$.findLocalInetAddress(Utils.scala:891)
    at org.apache.spark.util.Utils$.org$apache$spark$util$Utils$$localIpAddress$lzycompute(Utils.scala:884)

这不是Does hadoop and spark support IPv6 now?的重复，因为此问题最近才出现，其他问题实际上只涉及hadoop。

我是否需要在此计算机上停用ipv6 Macbook Pro并El Capitan}？

更新此问题是间歇性的，似乎也会受到在家或在办公室中运行的影响。

Spark Master查找在独立模式下对localhost的ipv6查找停止

0 个答案: