Question

pd.read_table('file.csv', chunksize=50000 )正在读取一个巨大的CSV文件。目前，在每次循环迭代中，我使用value_counts方法读取与当前块相关的df.col.value_counts()。我让它通过numpy的循环和技巧工作，但我想知道是否有更简洁的方法来使用熊猫？

代码：

prev = None

# LOOP CHUNK DATA
for imdb_basics in pd.read_table(
    'data/imdb.title.basics.tsv',
    dtype={'tconst':str,'originalTitle':str,'startYear':str }, 
    usecols=['tconst','originalTitle','startYear'],
    chunksize=50000,
    sep='\t'
):
    # REMOVE NULL DATA & CONVERT TO NUMBER
    imdb_basics.startYear = imdb_basics.startYear.replace( "\\N", 0 )
    imdb_basics.startYear = pd.to_numeric( imdb_basics.startYear )

    # --- loops and tricks --- !

    tmp = imdb_basics.startYear.value_counts( sort=False )

    current = { 
        'year': list( tmp.keys() ),
        'count': list( tmp.values )
    }
    if prev is None : 
        prev = current
    else:
        for i in range( len( prev['year'] ) ):
            for j in range( len( current['year'] ) ):
                if prev['year'][i] == current['year'][j]:
                    prev['count'][i] += current['count'][j]
        for i in range( len( current['year'] ) ):
            if not ( current['year'][i] in prev['year'] ):
                prev['year'].append( current['year'][i] )
                prev['count'].append( current['count'][i] )

编辑：我正在使用一个大型数据文件，加上我目前使用的远程机器的内存量非常有限，因此删除pandas中的分块不是一种选择。

Answer 1

就像我在评论中所说，你不必担心密钥管理。熊猫可以为你做所有这些。考虑这个简单的例子，其中包含一些带有年份列和其他列的模拟数据：

from io import StringIO
import numpy
import pandas
numpy.random.seed(0)

# years to chose from
years = numpy.arange(2000, 2017)

# relative probabilities of a year being selected (2000 should be absent)
weights = numpy.linspace(0.0, 0.7, num=len(years))
weights /= weights.sum()

# fake dataframe turned into a fake CSV
x = numpy.random.choice(years, size=200, p=weights)
text = pandas.DataFrame({
    'year': x,
    'value': True
}).to_csv()

由于这是一个小文件，我们可以一次阅读所有内容以获得“正确”答案

pandas.read_csv(StringIO(text))['year'].value_counts().sort_index()
2001     1
2002     6
2003     2
2004     6
2005     6
2006    11
2007     9
2008    12
2009    13
2010     9
2011    18
2012    16
2013    29
2014    20
2015    21
2016    21
Name: year, dtype: int64

好的，现在让我们尝试使用pandas方法接近分块：

result = None
for chunk in pandas.read_csv(StringIO(text), chunksize=25):
    tmp = chunk['year'].value_counts()
    if result is None:  # first chunk
        result = tmp.copy()
    else:  # all other chunks
        result = result.add(tmp, fill_value=0).astype(int)

final = result.sort_index()
final
2001     1
2002     6
2003     2
2004     6
2005     6
2006    11
2007     9
2008    12
2009    13
2010     9
2011    18
2012    16
2013    29
2014    20
2015    21
2016    21
Name: year, dtype: int64

所以它有效。在基本操作期间，Pandas将对齐并填充索引。

Answer 2

您可以尝试dask.dataframe。它未被充分利用，因为它只提供pandas功能的子集。但如果问题是通过分块的丑陋语法，你可以试试这个：

import dask.dataframe as dd

df = dd.read_csv('my_big_file.csv')
counts = df['col'].value_counts()

counts.compute()

在内部，dask处理分块，聚合等。

Pandas更好地从不同的数据帧中添加值计数

2 个答案: