将CSV文件导入Qubole

Question

我正在使用qubole运行presto查询。

我需要将一个csv文件上传到我的查询中，但无法弄清楚该怎么做。

有人对此有任何经验吗？

有关更多详细信息，我位于“分析”部分下。

这是我到目前为止基于@leftjoin的答案-

use adhoc;
create external table adhoc.test(
  Media_Buy_Key string,
  Day string,
  DSP_Publisher string,
  Final_Media_Cost string
)
row format delimited
fields terminated by ','
lines terminated by '\n'
location 's3://bucket/folder/folder/file.csv/';

然后我运行配置单元查询，它显示为[Empty]

这是我的s3存储桶的外观：

Answer 1

Presto使用Hive Metastore获取表信息及其数据位置。

1. 将文件上传到某些S3位置。实际上，S3没有位置，它们使用包含'/'的文件名进行仿真。使用Qubole S3界面上传文件。假设s3://your-bucket-name/your-location/yourfile.csv位于s3://your-bucket-name/your-location的位置。如果文件已经在s3中，则可以使用aws s3 cp命令将其复制到新位置。

2. 在文件位置顶部使用Hive创建表。

use your_schema; create external table test( col1 string, col2 string, ... coln type ) row format delimited fields terminated by ',' lines terminated by '\n' location 's3://your-bucket-name/your-location/'; 检查它是否在Hive中起作用：

select * from your_schema.test limit 10;

1. 使用Presto查询表

select * from your_schema.test limit 10;