Question

我环顾四周，并且令人惊讶的是没有找到一个简单的框架或现有代码用于计算Pointwise互信息（Wiki PMI），尽管像Scikit-learn这样的库为整体互信息提供了一个度量标准（通过直方图）。这是在Python和Pandas的背景下！

我的问题：

我有一个DataFrame，每行有一系列[x，y]示例，并希望根据公式（或更简单的公式）计算一系列PMI值：

PMI(x, y) = log( p(x,y) / p(x) * p(y) )

到目前为止，我的方法是：

def pmi_func(df, x, y):
    df['freq_x'] = df.groupby(x).transform('count')
    df['freq_y'] = df.groupby(y).transform('count')
    df['freq_x_y'] = df.groupby([x, y]).transform('count')
    df['pmi'] = np.log( df['freq_x_y'] / (df['freq_x'] * df['freq_y']) )

这会给出有效和/或有效的计算吗？

样本I / O：

x  y  PMI
0  0  0.176
0  0  0.176
0  1  0

Answer 1

我会添加三位。

def pmi(dff, x, y):
    df = dff.copy()
    df['f_x'] = df.groupby(x)[x].transform('count')
    df['f_y'] = df.groupby(y)[y].transform('count')
    df['f_xy'] = df.groupby([x, y])[x].transform('count')
    df['pmi'] = np.log(len(df.index) * df['f_xy'] / (df['f_x'] * df['f_y']) )
    return df

df.groupby(x)[x].transform('count')和df.groupby(y)[y].transform('count')应该仅限于使用伯爵已经退缩了。
np.log(len(df.index) * df['f_xy'] / (df['f_x'] * df['f_y'])要使用的概率。
处理数据帧的副本，而不是修改输入数据帧。

Answer 2

解决方案（也包括SKlearn KDE替代方案）：

请评论审核

$('#example').jQCloud(words,{
    shape : 'rectangle',
    afterCloudRender : function(){
        $('span','#example').each(function(){
            alert($(this).text());
        });
    }
});

Pandas DataFrame能否有效地计算PMI（Pointwise Mutual Information）？

2 个答案: