Python 3.5 - Pandas - 从另一个方法调用带有for循环的方法

时间:2016-04-09 13:37:04

标签: python pandas

背景:

我使用Python 3.5与Pandas和Jupyter Notebook。这是我第一次去 类。使用Jupyter笔记本可以简单地运行一小部分 一次编码一个单元格。我想开始制作 脚本/程序具有逻辑和更可读的流程。但是这里有 我还不了解的基础知识。知道我在过去几天花了很多时间 阅读并尝试使其发挥作用。我很少在SO上提问 因为我通常可以从以前的帖子中得到我需要的东西......就像大多数人一样 我确定。

出于某种原因,我不知道如何做我确定很简单的事情。下面 是我写的一个大型程序的片段。此时有四种方法 它们是相同的代码副本。那就是循环 通过state_list来过滤我想要的Pandas状态 我正在阅读的数据框。每种方法的目的都是以不同的方式阅读 文件(xlsx和csv)并提取日期和特定状态的数据。

不是在每个方法中重复for循环,我可以 使它成为一个方法然后从其他方法调用它?我试过几个 事情,但它刚刚发生。

当前代码:

class GetData(object):

    report_date = '3/1/2016'
    state_list = ['AL', 'AZ', 'GA', 'IA', 'ID', 'IL', 'MN', 'MS', 
                  'MT', 'NE', 'NM', 'NV', 'TN', 'UT', 'WI']


def data_getter(self):
    """Pulls in dataset and filters on specific date and states."""

    data = pd.read_excel('C:\\datapath\\file.xlsx')
    data = data[data['date'] == GetData.report_date]

    states = []
    for state in GetData.state_list:
        df = data[data['state'] == state]
        states.append(df)
    concat_data = pd.concat(states, axis=0)
    return concat_data

然后我将其实例化为:

data = GetData()
dataset = data.data_getter()

目标 - 像这样的东西?

class GetData(object):

    report_date = '3/1/2016'
    state_list = ['AL', 'AZ', 'GA', 'IA', 'ID', 'IL', 'MN', 'MS', 
                  'MT', 'NE', 'NM', 'NV', 'TN', 'UT', 'WI']


    def data_getter(self):
        """Pulls in dataset and filters on specific date and states."""

        data = pd.read_excel('C:\\datapath\\file.xlsx')
        data = data[data['date'] == GetData.report_date]

        # Call to state_filter here?

        data = GetData()
        data = data.state_filter

    def state_filter(self):
        states = []
        for state in GetData.state_list:
            df = data[data['state'] == state]
            states.append(df)
        concat_data = pd.concat(states, axis=0)
        return concat_data

1 个答案:

答案 0 :(得分:1)

<强>更新

你可以随时写自己的包装类,但我会说有一个很好的理由......

class GetData(object):

    #report_date = '3/1/2016'
    states = ['AL', 'AZ', 'GA', 'IA', 'ID', 'IL', 'MN', 'MS', 
              'MT', 'NE', 'NM', 'NV', 'TN', 'UT', 'WI']

    def __init__(self, df_or_file=None, read_func=pd.read_excel, **kwargs):
        if df_or_file is not None:
            if isinstance(df_or_file, (pd.DataFrame, pd.Series, pd.Panel)):
                self.data = df
            elif(os.path.isfile(df_or_file)):
                self.data = read_func(df_or_file, **kwargs)
        else:
            self.data = pd.DataFrame()

    def save(self, filename, savefunc=pd.DataFrame.to_excel, **kwargs):
        savefunc(df, filename, **kwargs)

现在您可以执行以下操作:

让我们生成一些随机DF并准备CSV和Excel文件:

In [53]: df = pd.DataFrame(np.random.randint(0, 10, size=(5, 3)), columns=list('abc'))

In [54]: df
Out[54]:
   a  b  c
0  6  0  2
1  8  1  5
2  5  5  4
3  0  4  1
4  5  4  2

In [55]: df.to_csv('d:/temp/test.csv', index=False)

In [56]: (df+100).to_excel('d:/temp/test.xlsx', index=False)

现在我们可以创建我们的对象:

In [57]: x = GetData(df)

In [58]: x.data
Out[58]:
   a  b  c
0  6  0  2
1  8  1  5
2  5  5  4
3  0  4  1
4  5  4  2

或从CSV

加载
In [61]: x = GetData('d:/temp/test.csv', read_func=pd.read_csv, sep=',')

In [62]: x.data
Out[62]:
   a  b  c
0  6  0  2
1  8  1  5
2  5  5  4
3  0  4  1
4  5  4  2

In [63]: x.data[x.data.a == 5]
Out[63]:
   a  b  c
2  5  5  4
4  5  4  2

或从Excel文件中加载:

In [64]: x = GetData('d:/temp/test.xlsx')

In [65]: x.data
Out[65]:
     a    b    c
0  106  100  102
1  108  101  105
2  105  105  104
3  100  104  101
4  105  104  102

并保存:

In [66]: x.data.c = 0

In [67]: x.data
Out[67]:
     a    b  c
0  106  100  0
1  108  101  0
2  105  105  0
3  100  104  0
4  105  104  0

In [68]: x.save('d:/temp/new.xlsx', index=False)

In [69]: x.save('d:/temp/new.csv', savefunc=pd.DataFrame.to_csv, sep=';', index=False)