Question

我在建模二进制因变量的地方有数据。还有5个其他类别的预测变量，对于因变量，我分别进行了卡方检验。所有人都提出了非常低的p值。

现在，我想创建一个图表，以显示观察到的计数与预期计数之间的所有差异。看来这应该是scipy chi2_contingency函数的一部分，但我无法弄清楚。

我唯一能想到的是chi2_contingency函数将输出期望计数的数组，因此我想我需要弄清楚如何将观察到的计数的交叉表转换为数组，然后将两者相减。

  ## Gender & Income:  cross-tabulation table and chi-square

  ct_sex_income=pd.crosstab(adult_df.sex, adult_df.income, margins=True)
  ct_sex_income

  ## Run Chi-Square test

  scipy.stats.chi2_contingency(ct_sex_income)

  ## try to subtract them

  ct_sex_income.observed - chi2_contingency(ct_sex_income)[4]

我得到的错误是“ AttributeError：'DataFrame'对象没有'observed'属性”

我只想要一个显示差异的数组。

TIA寻求帮助

Answer 1

我不知道您的数据，也不知道如何定义所观察的功能。我不太了解您的意图，可能是关于根据人们的婚姻状况预测他们的收入的一些信息。

我在这里发布一种可能解决您问题的方法。

        import pandas as pd
        import numpy as np
        import scipy.stats as stats
        from scipy.stats import chi2_contingency

        # some bogus data
        data = [['single','30k-35k'],['divorced','40k-45k'],['married','25k-30k'],
                ['single','25k-30k'],['married','40k-45k'],['divorced','40k-35k'],
                ['single','30k-35k'],['married','30k-35k'],['divorced','30k-35k'],
                ['single','30k-35k'],['married','40k-45k'],['divorced','25k-30k'],
                ['single','40k-45k'],['married','30k-35k'],['divorced','30k-35k'],
                ]

        adult_df = pd.DataFrame(data,columns=['marital','income'])

        X = adult_df['marital'] #variable
        Y = adult_df['income']  #prediction

        dfObserved = pd.crosstab(Y,X) 

        results = []

        #Chi-Statistic, P-Value, Degrees of Freedom and the expected frequencies
        results =  stats.chi2_contingency(dfObserved.values)
        chi2  = results[0] 
        pv    = results[1]
        free  = results[2]
        efreq = results[3]

        dfExpected = pd.DataFrame(efreq, columns=dfObserved.columns, index = dfObserved.index)

        print(dfExpected)
        """
        marital  divorced   married    single
        income                               
        25k-30k  1.000000  1.000000  1.000000
        30k-35k  2.333333  2.333333  2.333333
        40k-35k  0.333333  0.333333  0.333333
        40k-45k  1.333333  1.333333  1.333333
        """

        print(dfObserved)
        """ 
        marital  divorced  married  single
        income                            
        25k-30k         1        1       1
        30k-35k         2        2       3
        40k-35k         1        0       0
        40k-45k         1        2       1
        """

        difference = dfObserved - dfExpected
        print(difference)
        """"
        marital  divorced   married    single
        income                               
        25k-30k  0.000000  0.000000  0.000000
        30k-35k -0.333333 -0.333333  0.666667
        40k-35k  0.666667 -0.333333 -0.333333
        40k-45k -0.333333  0.666667 -0.333333
        """

我希望对您有帮助

观测值与预期值之间的差异表

1 个答案: