Spark Data source API是否存在任何官方文档。我只能从DataBricks教程中找到示例/示例实现信息。
答案 0 :(得分:4)
所以没有任何关于如何使用spark创建自己的自定义数据源的官方文档,因为它在spark开发人员api中。我们仍然有一些很好的博客,你可以检查,他们可能会有所帮助。我在这里提到了一些博客
http://sparkdatasourceapi.blogspot.nl/2016/10/spark-data-source-api-write-custom.html
https://michalsenkyr.github.io/2017/02/spark-sql_datasource
此处还有一些示例代码,请参阅下面的
https://github.com/VishvendraRana/spark-custom-datasource
如果你想检查使用spark数据源API的真实项目,请检查apache carbondata