Question

我在hadoop中使用s3和s3n url为amazon emr编写代码。

例如猪：

X = LOAD("s3n://testbucket/testfile.txt") using PigStorage();

我想继续使用代码并切换到使用Riak-CS而不是amazon s3。

即我希望s3 url指向我的Riak CS群集，我将设置存储桶和文件。

Hadoop配置中是否有选项可通过代理或特定主机名路由s3n网址。

Answer 1

设置jets3t.properties参见Riak CS端点。本地设置示例如下：http://qiita.com/kuenishi/items/71b3cda9bbd1a0bc4f9e#2-3

> cat conf/jets3t.properties
s3service.https-only=false
#s3service.s3-endpoint=localhost
#s3service.s3-endpoint-http-port=8080
#s3service.s3-endpoint-https-port=8080
#s3service.disable-dns-buckets=true

httpclient.proxy-autodetect=false
httpclient.proxy-host=localhost
httpclient.proxy-port=8080
httpclient.retry-max=11

通过hadoop访问s3n网址并指向riak cs

1 个答案: