我想要的是:
- 通过像
create table ... location 's3n://bucket/path'
这样的Hive访问S3数据
- 使用
hadoop distcp from to
或hadoop fs -cp from to
- 访问S3时使用我们的代理服务器
我的问题是:
- 我应该在哪里准确设置AWS访问密钥?
- 如何设置代理?
醇>
到目前为止我的搜索:
- 对于问题1,来自Google的答案是core-site.xml,hdfs-site.xml,hive-site.xml和yarn-site.xml,我的意思是......不是所有这些都对吗?
- 对于问题2,答案是hadoop / conf / jets3t.properties。但是我没有这样的文件,我应该把新文件放进去吗?
我们正在使用Hadoop 2.2.x,Hive 1.x.我们不想把访问密钥放在网址上......但是。
感谢。
编辑2017/05/26
- 只有核心网站无效
- core-site,hdfs-site和hive-site可以
- jets3t.properties的效果未知(不起作用,可能是因为其他原因)