我们在Fedora 27上单独运行Apache Spark独立用于教学目的。我为它配置了用于metastore_db的MySQL。
我正在尝试关注this tip running Hive in local mode,因此运行导出命令:
在export HIVE_OPTS='-hiveconf mapred.job.tracker=local -hiveconf fs.default.name=file:///tmp -hiveconf hive.metastore.warehouse.dir=file:///tmp/warehouse'
开始之前hive
。 Another blog suggested这个命令:
export HIVE_OPTS='-hiveconf mapred.job.tracker=local -hiveconf fs.default.name=file:///tmp -hiveconf hive.metastore.warehouse.dir=file:///tmp/warehouse -hiveconf javax.jdo.option.ConnectionURL=jdbc:derby:;databaseName=/tmp/metastore_db;create=true'
所以我运行了chmod 777 /tmp/warehouse
,但是后来的任何用户都不会只重写这个本地文件数据库中的所有内容吗?有没有更好的方法来实现这一目标?每当我尝试在Spark中使用Hive或没有导出本地文件数据库时,我都会收到localhost:8020 failed on connection exception: java.net.ConnectException: Connection refused;
错误,即Hadoop运行的端口。我们试图在没有Hadoop的情况下进行教学。每个用户是否应该指定warehouse
或databaseName
的其他路径,可能在其主目录中?