我按照某人的教程编译spark 2.1.0并在intellij IDEA 2016.3.4(scala 2.11.8)中运行其中一个示例,这是我的步骤:
- 从git(win 10 64bit)下载spark 2.1.0
- 我使用cygwin中的“$ build / mvn -T 4 -DskipTests clean package”构建它
- 在intellij中打开项目
- 将spark-streaming-flume-sink_2.11的目标目录标记为Sources,以及其子目录\ target \ scala-2.11 \ src_managed \ main \ compiled_avro \ org \ apache \ spark \ streaming \ flume \ sink
- 添加{spark dir} /spark/assembly/target/scala-2.11/jars / * .jars as spark-examples_2.11的依赖
醇>
但是当我构建spark项目时,这里是错误消息:
即使我删除了这个测试类SparkSinkSuite,类似的错误“对象xx不是包xx的成员”发生在其他类中(我发现所有问题类都在'外部'模块中)
我试过重启intellij甚至计算机,它没有帮助。