pyspark正常行为与否？

Question

我真的需要你的帮助，我希望当我说我不打算调试我的代码时，我听起来不太苛刻。我希望和/或认为除了我的代码之外它还有其他东西，或许我不希望发生火花。

首先，让我给你一些历史和时间表，以便我可以把它放在透视图上（或者你可以跳到下面的问题;）。

我在python上开发了一段代码，我在2015年10月使用了mllib，我使用了spark 1.5.1并且它有效。直到2016年8月，我一直使用这个软件包。无论出于何种原因，我的代码不再工作，即使我使用的是2015年10月到2016年8月期间使用的相同输入文件。我的修复是升级到spark 2.0。 0。使用相同的输入文件运行相同的代码，它再次开始工作。 [现在]两个月后我需要刷新并猜测是什么，它不再起作用了。我回到了我在spark 1.5.1上使用的相同输入文件，当它在2.0.0中成功运行时，它仍然不起作用。

所以，我的问题是......在我不了解并且应该注意的背景中，是否有火花做了一些更新或某些事情？如果是，我该如何关闭它还是可以将其关闭？如果不期望这种行为（我认为不是这样），为什么会出现这种情况？

提前感谢您的帮助。

Answer 1

经过进一步测试，这篇文章解决了这个问题 - ＆gt; Spark gives a StackOverflowError when training using ALS。我希望这是一个长期解决方案而不是补丁。