Spark / SQL：编译时出现.toDF（）错误但IntelliJ无法识别

Question

我在运行项目时遇到错误，而不是在使用Spark 1.3.0的IDE（IntelliJ）中获取错误

我的对象只包含一个方法，它在使用.toDF（）方法运行时给出了这个错误。 逻辑非常简单：我在RDD中加载一个文本文件，然后使用建议的case类，我想将它映射为TempTable。

我已经多次使用过.toDF和case类，以便按照Spark SQL guide的建议使用SparkSQL，我从未见过这个错误（甚至没有被识别为语法错误IDE）：

这是我的代码（请注意，没有语法错误）：

任何人都可以帮我找到解决这种奇怪行为的方法吗？ 从来没有发生过这样的事情。 我想到的唯一“奇怪”的事情是我在代码中编写代码而不是在主对象内部。

提前致谢！

FF

Answer 1

当我尝试你的代码时，我只收到一个错误

No TypeTag available for Log。

这可以通过将Log移到方法之外来解决，理想情况也可以在对象之外移动。

还有一点，不要调用SparkContext对象，这只会导致混淆。