Edgenode Jupyter Notebook产生的jdbc conectivity

时间:2018-08-01 11:22:26

标签: apache-spark hadoop jupyter-notebook

我需要使用与Oracle数据库的jdbc连接来创建数据框。我正在使用来自edgenode的Jupyter笔记本进行此连接。 Spark从Jupyter笔记本电脑以客户端模式运行。数据库主机和端口没有与edgenode的连接,但已从datanode打开。但是,当我尝试创建数据框时,由于“连接超时”错误而导致失败。正常吗我认为它正在尝试从无法建立连接的Edgenode建立连接?我如何确定执行者之间的连接(根据我的说法,理论上应该是这样)。

1 个答案:

答案 0 :(得分:1)

它是“正常”的。通常,驱动程序节点(在您的情况下是边缘节点)必须具有与任何工作程序节点相同的数据访问权限。在执行者处理数据加载的同时,驱动程序处理元数据(在您的情况下为获取和翻译模式)和计算拆分(此处不相关)之类的事情。