尝试从vm到gs存储桶上的表进行配置时出现错误。
org.apache.hadoop.hive.ql.exec.DDLTask。 MetaException(message:Got 异常:java.io.IOException没有方案的文件系统:gs)
要从我的本地vm访问gs-bucket,我将以下属性添加到core-site.xml
<property>
<name>google.cloud.auth.service.account.enable</name>
<value>true</value>
</property>
<property>
<name>google.cloud.auth.service.account.json.keyfile</name>
<value>/root/xyz/key.json</value>
</property>
<property>
<name>fs.gs.impl</name>
<value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem</value>
</property>
<property>
<name>fs.AbstractFileSystem.gs.impl</name> <value>com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS</value>
</property>
还将google-connector jar路径添加到hadoop-env.sh和hive-env.sh
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/root/xyz/gcs-connector-hadoop2-latest.jar
还将gcs-connector-hadoop2-latest.jar添加到hadoop lib和hive lib中
/ usr / lib / hadoop / lib /
/ usr / lib / hive / lib
通过上述活动,我能够从本地vm在GS存储桶上运行hadoop ls和hadoop cat,但是当我尝试在同一存储桶上创建配置单元表时,这不允许我进行操作。