Question

我在我的scala文件中import org.apache.spark.sql.DataFrame，而不是使用sbt进行编译，错误为object DataFrame is not a member of package org.apache.spark.sql

在互联网上搜索了一些解决方案，似乎问题是火花版太旧了。但我使用的是最新版本（2.1.1），所以很奇怪。

在REPL中，当我import org.apache.spark.sql.DataFrame时，没有错误。

我的功能是这样的：

def test(df: DataFrame): Unit={
    ....
}

当我在REPL中定义这个函数时，它很好，但是当我使用sbt编译它时，错误是not found: type DataFrame。

我的build.sbt：

name := "Hello"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.1"

任何人都可以帮我解决这个问题吗？感谢。

Answer 1

你需要使用spark-core和spark-sql来处理Dataframe

libraryDependencies ++= Seq(
// https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11
  "org.apache.spark" %% "spark-core" % "2.1.1",
// https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11
  "org.apache.spark" %% "spark-sql" % "2.1.1"
)

希望这有帮助！

object DataFrame不是包org.apache.spark.sql的成员

1 个答案: