Question

我在极快的SAN磁盘中有大量文件，我喜欢对它们进行Hive查询。

一个显而易见的选择是使用如下命令将所有文件复制到HDFS中：

hadoop dfs -copyFromLocal /path/to/file/on/filesystem /path/to/input/on/hdfs

但是，我不想创建我的文件的第二个副本，只是为了Hive查询。

有没有办法将HDFS文件夹指向本地文件夹，以便Hadoop将其视为实际的HDFS文件夹？这些文件不断添加到SAN磁盘，因此Hadoop需要在添加新文件时查看这些文件。

这类似于Azure的HDInsight方法，您将文件复制到blob存储中，HDInsight的Hadoop通过HDFS查看它们。

Answer 1

您可以将hdfs路径挂载到本地文件夹，例如使用 hdfs mount 请关注this了解详情

但如果你想要速度，那就不是一个选择

Answer 2

使用本地文件系统播放小文件可能没问题，但我不会出于任何其他目的。
将文件放入HDFS意味着将其拆分为复制和分发的块这为您提供了性能和可用性。

可以使用file:///将[外部]表的位置定向到本地文件系统无论是顺利运作还是您都会遇到各种错误，都可以看到。
请注意，对于演示，我在这里做一个小技巧来将位置定向到特定文件，但您的基本用途可能是目录。

<强>演示

create external table etc_passwd 
(
    Username        string
   ,Password        string
   ,User_ID         int
   ,Group_ID        int
   ,User_ID_Info    string
   ,Home_directory  string
   ,shell_command   string
) 
row format delimited
fields terminated by ':'
stored as textfile
location 'file:///etc'
;

alter table etc_passwd set location 'file:///etc/passwd'
;

select * from  etc_passwd limit 10
;

+----------+----------+---------+----------+--------------+-----------------+----------------+
| username | password | user_id | group_id | user_id_info | home_directory  | shell_command  |
+----------+----------+---------+----------+--------------+-----------------+----------------+
| root     | x        |       0 |        0 | root         | /root           | /bin/bash      |
| bin      | x        |       1 |        1 | bin          | /bin            | /sbin/nologin  |
| daemon   | x        |       2 |        2 | daemon       | /sbin           | /sbin/nologin  |
| adm      | x        |       3 |        4 | adm          | /var/adm        | /sbin/nologin  |
| lp       | x        |       4 |        7 | lp           | /var/spool/lpd  | /sbin/nologin  |
| sync     | x        |       5 |        0 | sync         | /sbin           | /bin/sync      |
| shutdown | x        |       6 |        0 | shutdown     | /sbin           | /sbin/shutdown |
| halt     | x        |       7 |        0 | halt         | /sbin           | /sbin/halt     |
| mail     | x        |       8 |       12 | mail         | /var/spool/mail | /sbin/nologin  |
| uucp     | x        |      10 |       14 | uucp         | /var/spool/uucp | /sbin/nologin  |
+----------+----------+---------+----------+--------------+-----------------+----------------+

是否有任何可行且简单的选项将本地文件夹用作Hadoop HDFS文件夹

2 个答案: