我在哪里可以找到Spark Data source API的文档?

时间:2017-05-18 04:47:07

标签: apache-spark

Spark Data source API是否存在任何官方文档。我只能从DataBricks教程中找到示例/示例实现信息。

1 个答案:

答案 0 :(得分:4)

所以没有任何关于如何使用spark创建自己的自定义数据源的官方文档,因为它在spark开发人员api中。我们仍然有一些很好的博客,你可以检查,他们可能会有所帮助。我在这里提到了一些博客

http://sparkdatasourceapi.blogspot.nl/2016/10/spark-data-source-api-write-custom.html

https://michalsenkyr.github.io/2017/02/spark-sql_datasource

此处还有一些示例代码,请参阅下面的

https://github.com/VishvendraRana/spark-custom-datasource

如果你想检查使用spark数据源API的真实项目,请检查apache carbondata

https://github.com/apache/carbondata