Question

使用Hive Sql select查询下载到csv文件时，返回错误行在顶部

cmd='''hive -e 'set hive.cli.print.header=true; set hive.resultset.use.unique.column.names=false; use hive_db; select * from table1; ' | sed 's/[\t]/,/g'  > /mapr/user/outfile.csv'''
import paramiko
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.load_host_keys(os.path.expanduser(os.path.join("~", ".ssh", "known_hosts")))
ssh.connect('hiveserver', username='userid', password='pwd')
sshin, sshout, ssherr= ssh.exec_command(cmd)

输出的csv文件在文件顶部具有以下几行。这些行之后是来自select查询的数据。

2018-09-17 02:22:18,643 main ERROR PatternLayout contains an invalid element or attribute "ConversionPattern"
2018-09-17 02:22:18,665 main ERROR PatternLayout contains an invalid element or attribute "ConversionPattern"
2018-09-17 02:22:18,671 main ERROR RollingRandomAccessFile contains invalid attributes "MaxBackupIndex", "MaxFileSize"

这些错误是什么。如何避免呢？还有其他更简单的方法将选择查询导入到单个csv 文件吗？

Python version:Python 3.6.4 |Anaconda custom (64-bit)| (default, Jan 16 2018, 18:10:19)
    [GCC 7.2.0] on linux

paramiko version: paramiko==2.4.1

Hive version : Hive 2.1.1-mapr-1803

Hadoop Version : Hadoop 2.7.0-mapr-1707

选择查询到csv返回错误行在顶部

0 个答案: