Question

我正在使用as_pandas中的impala.util实用程序来读取从配置单元中获取的dataframe格式的数据。但是，我认为使用熊猫无法处理大量数据，而且速度也较慢。我一直在阅读有关dask的知识，它提供了读取大型数据文件的出色功能。我如何使用它来有效地从蜂巢中获取数据。

def as_dask(cursor):
"""Return a DataFrame out of an impyla cursor.
This will pull the entire result set into memory.  For richer pandas- 
like functionality on distributed data sets, see the Ibis project.

Parameters
----------
cursor : `HiveServer2Cursor`
    The cursor object that has a result set waiting to be fetched.
Returns
-------
DataFrame
"""
    import pandas as pd
    import dask
    import dask.dataframe as dd

    names = [metadata[0] for metadata in cursor.description]
    dfs = dask.delayed(pd.DataFrame.from_records)(cursor.fetchall(), 
    columns=names)
    return dd.from_delayed(dfs).compute()

Answer 1

目前没有直接的方法可以做到这一点。您会很高兴看到dask.dataframe.read_sql_table的实现以及intake-sql中的类似代码-您可能想要一种分区数据的方法，并让每个工作人员都通过调用{{ 1}}。然后可以使用delayed()和dd.from_delayed将片段缝合在一起。

-编辑-

您的功能将延迟的想法重新提出来。您正在延迟并立即在单个光标上运行的函数中实现数据-如果数据很大，则无法并行化，并且会破坏内存（这就是您尝试这样做的原因）。

让我们假设您可以形成一组10个查询，其中每个查询获取数据的不同部分。不使用OFFSET，在Hive索引的某些列上使用条件。您想做类似的事情：

dd.concat

现在您有了一个返回分区且不依赖于全局对象的函数-它仅将字符串作为输入。

queries = [SQL_STATEMENT.format(i) for i in range(10)]
def query_to_df(query):
    cursor = impyla.execute(query)
    return pd.DataFrame.from_records(cursor.fetchall())

使用dask从Hive读取数据

1 个答案: