Question

我正在努力学习Hive。令人惊讶的是，我找不到如何编写简单的字数统计工作的示例。以下是否正确？

假设我有一个输入文件input.tsv：

hello, world
this is an example input file

我在Python中创建了一个拆分器，将每一行转换为单词：

import sys

for line in sys.stdin:
 for word in line.split():
   print word

然后我的Hive脚本中有以下内容：

CREATE TABLE input (line STRING);
LOAD DATA LOCAL INPATH 'input.tsv' OVERWRITE INTO TABLE input;

-- temporary table to hold words...
CREATE TABLE words (word STRING);

add file splitter.py;

INSERT OVERWRITE TABLE words 
  SELECT TRANSFORM(text) 
    USING 'python splitter.py' 
    AS word
  FROM input;

SELECT word, count(*) AS count FROM words GROUP BY word;

我不确定我是否遗漏了某些东西，或者它是否真的很复杂。（特别是，我是否需要临时words表，是否需要编写外部分离器功能？）

Answer 1

如果您想要一个简单的，请参阅以下内容：

SELECT word, COUNT(*) FROM input LATERAL VIEW explode(split(text, ' ')) lTable as word GROUP BY word;

我使用横向视图来启用表值函数（explode），该函数采用split函数生成的列表，并为每个值输出一个新行。在实践中，我使用包装IBM的ICU4J字断路器的UDF。我通常不使用转换脚本并使用UDF进行所有操作。您不需要临时单词表。

Answer 2

CREATE TABLE docs (line STRING);
LOAD DATA INPATH 'text' OVERWRITE INTO TABLE docs;
CREATE TABLE word_counts AS
SELECT word, count(1) AS count FROM
(SELECT explode(split(line, '\s')) AS word FROM docs) w
GROUP BY word
ORDER BY word;

Answer 3

您可以在配置单元中判断内置UDF，如下所示：

1）步骤1：使用名为数据类型数组

的句子的单个列创建临时表

＆＃13;

create table temp as select sentence from docs lateral view explode(explode(sentences(lcase(line)))) ltable as sentence

＆＃13;

2）步骤2：再次从临时表中选择你的单词爆炸列句

＆＃13;

select words,count(words) CntWords from
(
select explode(words) words from temp
) i group by words order by CntWords desc

＆＃13;

Hive中的字数统计程序

3 个答案: