Spark：无法创建新的本机线程仅发生在工作节点上

Question

有3个节点，一个是主人和工人，另外两个是纯工人。

独立群集。 3个盒子的硬件相同。

有什么建议吗？

谢谢！

Answer 1

使用service命令运行spark worker时会发生这种情况，即服务spark-worker start。

如果直接启动spark worker，即sparkfolder / sbin / start-slave.sh spark：// masterip：7077，则问题永远不会发生。

有什么建议吗？

这是服务文件：

df %>% 
  group_by(customer_id) %>% 
  mutate(flag = row_number() > 1 &        #to avoid NA's on the first rows of each customer
           (pct_completed < 0.2) & 
           (lag(pct_completed) > 0.9),
         event_nr = cumsum(flag) + 1) %>% 
  filter(event_nr == 2)