标签： apache-spark pyspark
我正在pyspark在12台核心mac pro机器上以本地模式运行预处理例程。尽管我使用--master local [*]作为本地模式运行它，但我怀疑网络流量实际上触及了路由器，从而使整体网络速度变慢。
我曾考虑过通过防火墙阻止来自本地计算机的spark使用的某些端口，但我认为可能有更好的方法来处理此问题。
我不确定我关于网络流量增加的假设是对还是错，所以我很想听听其他人的经历。如果是这样，有什么办法代替配置文件来处理吗？ 谢谢。