无法从我的本地cloudera vm在gs-bucket上创建配置单元表

时间:2018-10-16 08:22:37

标签: hadoop hive google-cloud-platform

尝试从vm到gs存储桶上的表进行配置时出现错误。

  

org.apache.hadoop.hive.ql.exec.DDLTask。 MetaException(message:Got   异常:java.io.IOException没有方案的文件系统:gs)

要从我的本地vm访问gs-bucket,我将以下属性添加到core-site.xml

<property>
<name>google.cloud.auth.service.account.enable</name>
<value>true</value>
</property>
<property>
<name>google.cloud.auth.service.account.json.keyfile</name>
<value>/root/xyz/key.json</value>
</property>

<property> 
<name>fs.gs.impl</name> 
<value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem</value> 
</property> 

<property> 
<name>fs.AbstractFileSystem.gs.impl</name> <value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS</value> 
</property>

还将google-connector jar路径添加到hadoop-env.sh和hive-env.sh

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/root/xyz/gcs-connector-hadoop2-latest.jar

还将gcs-connector-hadoop2-latest.jar添加到hadoop lib和hive lib中

  

/ usr / lib / hadoop / lib /
/ usr / lib / hive / lib

通过上述活动,我能够从本地vm在GS存储桶上运行hadoop ls和hadoop cat,但是当我尝试在同一存储桶上创建配置单元表时,这不允许我进行操作。

0 个答案:

没有答案