在Zeppelin中保存来自AWS Athena查询的结果

Question

我可以通过Zeppelin笔记本在Athena上成功执行查询，但是我不知道如何保存结果集。

以下代码显示一个表格

%athena
select * from table_name limit 5; 

我的目标是将结果保存到熊猫数据框中，以便将来进行转换。

我能够另存为CSV并手动将其导入，但这似乎不是很有效。

我正在使用Zeppelin 0.8.0和AthenaJDBC42-2.0.2.jar

Answer 1

我发现这是使用 athena 进行试验并使用 spark 执行的最佳方式。 所以基本上：

%spark.pyspark
df = pd.read_sql("select * from table_name limit 5", conn)