如何从R中的HDFS读取镶木地板文件

时间:2019-09-25 19:12:53

标签: r hdfs sparklyr rhadoop apache-arrow

我需要在R程序中读取存储在HDFS(我有一个受Kerberos保护的Hadoop群集)上的镶木地板文件。我碰到过一些包装,但没有一个完全满足我的需求

  • rhadoop:它看起来像是一个旧项目,没有进一步开发。这些库下的rhdfs软件包不支持镶木地板文件或Kerberos。
  • arrow:似乎它可以读取镶木地板文件,但与HDFS没有连接

还有其他库可以让我从R中的HDFS中读取镶木地板文件吗?

我知道sparklyr,但是我相信我需要在运行spark驱动程序的机器上安装spark吗?那是对的吗?我的R客户端是另一台计算机。

0 个答案:

没有答案