Cloudera声称有快速启动方法。我注意到这对我不起作用。
当我调用spark-shell时，我得到：
... WARN metastore.ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version
我发现它令人困惑，这毕竟是一个快速启动，这看起来很奇怪。
所以：
我看到运行了Metastore db的mysql。我可以访问这个罚款。
如果使用mysql作为hive Metastore，是否需要启动hive metastore？我想是的，但是......
我现在需要hive服务器2在本地运行吗？或者我可以不用吗？
Hive选项卡上的Cloudera Manager告诉我我正在使用mysql，并且我看到一个自动生成的hive-site.xml。
总之，我不知道如何解决这个问题。其中一个日志正在讨论创建德比的失败，例如： ......
Caused by: java.sql.SQLException: Failed to create database 'metastore_db', see the next exception for details.
总之，我正在寻求如何解决这个问题的指导。
在我遇到的众多崩溃之一之前，我有一个SPARK / SCALA的sbt程序集正常工作，可以访问远程MYSQL数据库，所以我想知道这是否可行，火花外壳和本地Cloudera VM都不稳定。
在挫折中寻求指导。数据砖就像一场梦一样。
提前致谢。
答案 0 :(得分：0)
安装5.13，其他问题但这些问题都消失了。但注意到原因是什么。
完成全新安装后
sudo jps
执行，然后所有Hadoop服务都很好并正常工作。检查过这个。
然后注意到Cloudera Manager Console（CMS）从不显示。 Internet上的建议是执行命令来调用CM Express。
一旦你这样做，然后CMS显示，但许多Hadoop服务需要（重新）启动。那么点就是火花壳变得混乱，并且不再能够获得Metastore。总而言之，一个令人遗憾的混乱，解决方案并不那么明显。
手动安装Hadoop可能是最佳选择，但需要一个明确的集成规范。然后还有Spark 2.x不受支持的问题，KUDU没有，包裹与包裹。