Question

我已根据官方kudu文档成功在Ubuntu（Trusty）上安装了kudu（参见http://kudu.apache.org/docs/installation.html）。该设置有一个节点运行主服务器和平板电脑服务器，另一个节点运行平板电脑服我在运行kudu master的节点上安装impala-kudu而没有Cloudera Manager时遇到问题。我已经按照CDH安装说明（参见http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_cdh5_install.html）页面直到第3步。我已经避免使用YARN和MRv1安装CDH，因为我不需要运行任何mapreduce作业，也不会使用hadoop。 Impala-kudu和impala-kudu-shell安装没有错误。当我启动impala-shell时，它返回：

Starting Impala Shell without Kerberos authentication
Error connecting: TTransportException, Could not connect to kudu_test:21000
***********************************************************************************
Welcome to the Impala shell. Copyright (c) 2015 Cloudera, Inc. All rights reserved.
(Impala Shell v2.7.0-cdh5-IMPALA_KUDU-cdh5 (48f1ad3) built on Thu Aug 18 12:15:44 PDT 2016)Want to know what version of Impala you're connected to? Run the VERSION command to
find out!
***********************************************************************************
[Not connected] >

我尝试使用CONNECT选项连接到kudu-master节点但没有成功。 imapala-kudu和kudu都在同一台机器上运行。是否需要更改其他配置设置，或者hadoop和YARN是否严格要求使impala-kudu工作？

运行ps -ef | grep -i impalad后，我可以确认impala守护程序未运行。导航到〜/ var / log / impala的impala日志后，我发现了一些错误和警告文件。这是impalad.ERROR的输出：

Log file created at: 2016/09/13 13:26:24
Running on machine: kudu_test
Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
E0913 13:26:24.084389  3021 logging.cc:118] stderr will be logged to this file.
E0913 13:26:25.406966  3021 impala-server.cc:249] Currently configured default filesystem: LocalFileSystem. fs.defaultFS (file:///) is not supported.ERROR: block location tracking is not properly enabled because
  - dfs.datanode.hdfs-blocks-metadata.enabled is not enabled.
  - dfs.client.file-block-storage-locations.timeout.millis is too low. It should be at least 10 seconds.

E0913 13:26:25.406990  3021 impala-server.cc:252] Aborting Impala Server startup due to improper configuration. Impalad exiting.

也许我需要重新访问HDFS和Hive Metastore以确保我正确配置这些服务？

Answer 1

根据日志，impalad退出，因为默认文件系统配置为LocalFileSystem，不受支持。您必须设置分布式文件系统，例如HDFS作为默认值。

虽然Kudu是一个单独的存储系统，并且不依赖于HDFS，但即使与Kudu一起使用，Impala似乎仍然需要非本地默认FS。 Impala_Kudu documentation明确列出了以下要求：

在安装Impala_Kudu之前，您必须已经为HDFS安装和配置了服务（虽然它没有被Kudu使用），Hive Metastore（Impala存储其元数据）和Kudu。

我甚至可以想象，除了让Impala满意之外，其他任何原因都不需要HDFS，但这只是我身边的推测。更新：找到IMPALA-1850，这证实了我对Impala不再需要HDFS的怀疑，但它不仅仅是一个必须删除的支票。

无法将Impala-Kudu连接到Apache Kudu（没有Cloudera Manager）：获取TTransportException错误

1 个答案: