spark-submit --master local [n]无法创建多线程

Question

我编写pyspark代码来处理一些spark-sql数据。

上个月，当我运行spark-submit --master local[25]时，它运行良好。通过top命令，我可以看到25个python线程。

但是，什么都没有改变，但是今天，提交火花仅创建一个线程。我想知道什么样的事情会导致这种问题。

这是在AWS的ubuntu服务器上，该服务器具有16个CPU内核。 Spark版本为2.2.1，Python版本为3.6

Answer 1

只需查找问题：另一个用户在同一实例上运行自己的spark任务，占用资源。