为spark编写自己的数据源。

时间:2015-12-03 02:31:12

标签: apache-spark

我们在MS SQL Server中拥有数据,而不是使用与数据库的直接JDBC连接,我们希望能够将数据推送到我们自己的方法中。简而言之,我们想要编写自己的现有数据源API而不是使用现有数据源API,任何人都可以建议我们可以参考并构建它的一些参考项目。

这是一个相当简单的任务还是我们想到的非常复杂的方法,随时发表评论。

1 个答案:

答案 0 :(得分:2)

此功能由Spark开箱提供:

Enum

有关详细信息,请参阅http://spark.apache.org/docs/latest/sql-programming-guide.html#jdbc-to-other-databases