Question

我有一个Scalding（Scala中的hadoop抽象层）项目，我试图使用Gradle构建。

在最新版本中看起来像Hadoop became a provided dependency，它需要一些解决方法。

所以我修改了我的build.gradle脚本：

apply plugin: 'scala'
apply plugin: 'idea'
configurations {
    provided
}
sourceSets {
    main { compileClasspath += configurations.provided }
}
repositories {
  mavenLocal()
  mavenCentral()
  maven{
    url 'http://conjars.org/repo/'
    }
}
ext.cascadingVersion = '2.1.6'
ext.hadoopVersion = '1.1.2'
dependencies {
  compile 'org.scala-lang:scala-compiler:2.9.2'
  compile 'org.scala-lang:scala-library:2.9.2'
  compile 'bixo:bixo-core:0.9.1'
  compile 'org.testng:testng:6.8.7'
  testCompile  'org.scala-tools.testing:specs:1.6.2.2_1.5.0'
  compile( 'com.twitter:scalding_2.9.2:0.8.1' )
  compile( group: 'cascading', name: 'cascading-core', version: cascadingVersion )
  compile( group: 'cascading', name: 'cascading-hadoop', version: cascadingVersion )
  provided "org.apache.hadoop:hadoop-client:${hadoopVersion}"
}
jar {
  description = "Assembles a Hadoop-ready JAR file"
  doFirst {
    into( 'lib' ) {
      from configurations.compile
    }
  }
  manifest {
    attributes( "Main-Class": "com.Crawler" )
  }
}

我认为可以解决这个问题。但是在尝试构建时我一直收到以下错误：

[ant:scalac] Element '/Users/tkmafj4/Projects/AIT/Crawler/build/resources/main' does not exist.
[ant:scalac] scala.tools.nsc.symtab.Types$TypeError: class file needed by Source is missing.
[ant:scalac] reference value hadoop of package org.apache refers to nonexisting symbol.

这看起来很像我的配置中缺少的东西。

如何检查是否正在获取源？

要编译它的正确解决方法是什么？

Answer 1

hadoop成为＆＃34;提供＆＃34; cascading的依赖性意味着取决于cascading将不再引入hadoop，因为hadoop旨在由目标环境或由创建最终可部署档案的人提供。如果hadoop依赖关系需要进入你的胖Jar，你需要使它（至少）成为runtime依赖关系。但由于编译似乎存在一些问题，我尝试将其作为compile依赖项。

如果hadoop依赖项应该在编译类路径上而不是在胖Jar中，那么您需要添加类似sourceSets.main.compileClasspath += configurations.provided的内容。

PS：你的胖Jar任务需要打包configurations.runtime而不是configurations.compile，并且应删除doFirst {行（以及相应的右括号）。

提供依赖无法提供

1 个答案: