我们如何使用URL将数据加载到配置单元中

Question

我在hive中创建了一个表，我需要将csv数据加载到hive表中， 但是数据在github中（我已经下载并测试了它是否可以正常工作）我需要直接从URL加载数据，是否有可能从URL将数据加载到蜂巢中

类似的东西可以工作

LOAD DATA  INPATH 'https://github.com/xx/stock-prices.csv' INTO TABLE 
stocks;

Answer 1

可以使用以下命令将平面文件中的数据加载到Hive中。

来自Apache Hive Wiki：

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] [INPUTFORMAT 'inputformat' SERDE 'serde'] (3.0 or later)

如果指定了关键字LOCAL，Hive将在本地文件系统中查找文件路径并从那里加载。如果未指定关键字LOCAL，则Hive将在 HDFS文件系统中查找文件路径，并将数据加载到其中。

您可以为HDFS文件以及本地文件指定完整的URI。

示例：

file:///user/data/project/datafolder (Local Path)

hdfs://namenode:10001/user/data/project/datafolder (HDFS path)

这意味着无法从https直接将数据加载到配置单元中。因此，您必须先下载数据并加载到配置单元中。

这不是解决方案，而是正确的答案。