将数据从apache-pig读入R

时间:2014-12-26 22:26:01

标签: r apache-pig

R有没有办法通过网络读取存储在apache-pig中的数据? (类似于R如何通过网络连接到数据库并访问存储在数据库中的数据。)

或者,如果无法做到这一点,是否可以通过java或python或任何其他语言“管道”数据?示例:Java连接到Apache-Pig和R,允许数据从Apache-Pig移动到Java到R。

1 个答案:

答案 0 :(得分:0)

我猜STREAM命令对你有用。您可以尝试以下参考文档。
http://pig.apache.org/docs/r0.13.0/basic.html#stream
http://chimera.labs.oreilly.com/books/1234000001811/ch06.html#stream

我不知道R编程,所以我尝试使用基本的Ruby脚本,它的工作正常。

<强>输入

This is apache pig

<强> PigScript:

A = LOAD 'input';
B = STREAM A THROUGH `myruby.rb`;
DUMP B;

<强> myruby.rb

#!/usr/bin/env ruby

STDIN.each do |line|
line.split.each do |word|
  puts word
end
end

<强>输出:

(This)
(is)
(apache)
(pig)