我在Pyspark上运行了一些测试并偶然发现了一件奇怪的事情 - 在从Python代码接收到相对无害的警告之后，Spark执行器似乎停止了执行而没有失败。在我的情况下，警告来自Pandas，通知我某些方法已被弃用。
所以，为什么会发生这种情况以及我可以使用什么Spark设置来避免它呢？
警告信息：
warning: 'FutureWarning: Method .as_matrix will be removed in a future version. Use .values instead'
此外，似乎在执行人收到第一次警告后不会立即发生这种情况，而是在达到一些临界质量之后（我的情况可能是每个执行官几次警告）。