Question

我在通过Beeline从蜂巢下载数据时遇到问题。

我想用csv作为字段分隔符将表下载到文件中。如果列值带有逗号，则该值需要用引号引起来。

我知道beeline为此用例提供了outputformat csv2。

但是我没有得到预期的结果。

我为此创建了带有数据的示例表。

    0: jdbc:hive2://ip:10000/default> DESC samp_ret;
+-------------+------------+----------+--+
|  col_name   | data_type  | comment  |
+-------------+------------+----------+--+
| intvar      | int        |          |
| stringvar1  | string     |          |
| stringvar2  | string     |          |
+-------------+------------+----------+--+
3 rows selected (0.081 seconds)
0: jdbc:hive2://ip:10000/default>  SELECT * FROM samp_ret ;
+------------------+----------------------+----------------------+--+
| samp_ret.intvar  | samp_ret.stringvar1  | samp_ret.stringvar2  |
+------------------+----------------------+----------------------+--+
| 1                | one,ONE              | One                  |
| 2                | 2                    | Two                  |
| 3                |                      | Three                |
| 4                | four,FOUR            |                      |
| 5                | five'FIVE            | Five                 |
| 6                | six',SIX             | Six                  |
+------------------+----------------------+----------------------+--+
6 rows selected (0.164 seconds)

我正尝试将这些数据下载到应用服务器中，但是由于某种原因，我没有看到包含逗号的记录包含在引号中。

所用的直线指令是，

beeline -u jdbc:hive2://ip:10000/default?zeroDateTimeBehavior=round -n yumecorp yumehive org.apache.hive.jdbc.HiveDriver --showHeader=false --outputformat=csv2 --silent -e "SELECT * FROM dev.samp_ret " > /tmp/samp_ret.out

输出为

如您在输出中看到的，如果列值带有逗号，则其显示为^ @

让我知道我是否在这里丢失了东西。

Answer 1

在执行beeline命令之前，

导出外壳程序中的以下属性

bash$ export HADOOP_CLIENT_OPTS="-Ddisable.quoting.for.sv=false"

然后执行beeline导出命令

beeline -u jdbc:hive2://ip:10000/default?zeroDateTimeBehavior=round -n yumecorp yumehive org.apache.hive.jdbc.HiveDriver --showHeader=false --outputformat=csv2 --silent -e "SELECT * FROM dev.samp_ret " > /tmp/samp_ret.out

示例：

后面的表格中有2个字符串列

hive> select * from i;
+-------+---------+--+
| i.id  | i.name  |
+-------+---------+--+
| 1     | kl,kl   |
| 2     | ll,mm   |
+-------+---------+--+

现在将导出为带有名称列值

的带有“”的csv文件

bash$ export HADOOP_CLIENT_OPTS="-Ddisable.quoting.for.sv=false"
bash$ beeline --showHeader=false --outputformat=csv2 --silent -e "SELECT * FROM default.i" > samp_ret.out
bash$ cat samp_ret.out 
1,"kl,kl"
2,"ll,mm"

有关更多详细信息，请参考此hive Jira。

如何以csv2格式从beeline配置单元下载数据？

1 个答案: