Question

我正在尝试编译scala脚本以通过spark-submit提交作业。我正在使用Windows命令行的sbt进行编译。目录结构由sbt。

定义

path = C：\ users \ {$ username}

{$path}\test
         |-src
         |  |-main
         |  |  |-scala
         |  |  |-java
         |  |  |-resources
         |  |-test
         |     |-scala
         |     |-java
         |     |-resources
         |-target
         build.sbt

这是我的构建文件： build.sbt

name := "TestQuery"
version := "1.0"
scalaVersion := "2.11.8"

libraryDependencies ++= {
   val sparkVer = "2.1.0"
   Seq("org.apache.spark" %% "spark-core" % sparkVer % "provided"   withSources(),
   "org.apache.spark" %% "spark-hive" % sparkVer % "provided" )
}

我的TestQuery.scala文件位于./test/src/main/scala/TestQuery.scala

下

从Windows cmd，我将目录切换到./test并运行sbt。当我运行compile命令时，sbt会出现以下错误：

[error]./test/src/main/scala/TestQuery.scala:2:29: 
object hive is not a member of package org.apache.spark.sql

sbt使用maven2存储库，spark-hive存在于： https://repo1.maven.org/maven2/org/apache/spark/spark-hive_2.11/1.2.0/

此外，此导入命令适用于spark-shell。（spark-shell运行Spark 2.1.1。和scala 2.11.8）。

为什么找不到它？

SBT无法构建具有spark-hive依赖关系

0 个答案: