Question

我遇到了有关如何设置build.sbt for Spark的详细说明。

但后来我读到了SBT plugin for Spark packages，其中显然是一行，如

@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration(loader=AnnotationConfigContextLoader.class)
public class CacheServiceImplTest {

    @Configuration
    static class ContextConfiguration {

        // this bean will be injected into the OrderServiceTest class
        @Bean
        public CacheServiceImpl cacheService() {
            CacheServiceImpl cacheService = new CacheServiceImpl();
            return cacheService;
        }
    }

    @Autowired
    private CacheServiceImpl cacheService;
}

没关系，因为插件正在进行令人讨厌的工作。

这种理解是否正确？

Answer 1

我会说是的。如果你看一下用于Spark的简单.sbt文件（例如，https://github.com/databricks/learning-spark/blob/master/build.sbt），你会发现你需要包含一堆spark依赖项。（好吧，不是那里列出的所有......）。

此外，如果您查看插件的功能，您会发现更多实用功能：https://github.com/databricks/sbt-spark-package/blob/master/src/main/scala/sbtsparkpackage/SparkPackagePlugin.scala

这是一个很酷的插件！

了解spark-sbt-plugin

1 个答案: