Question

我正在使用站点密钥的日志数据，然后使用事件和时间戳的键/值对。预处理将其作为不可分割列数（可以是1-N）的pandas数据帧提供，其中列是键，值是时间戳。我知道这是一个不太理想的结构，但我无法改变它。什么是对数据帧进行操作的有效方法，使得对于每个键，我能够计算非空列并识别非空值？

这是假设的raw data：

KeyCol  ValCol1 ValCol2 ValCol3
A   ValCol1 ValCol2 nan
B   nan nan nan
C   ValCol1 nan ValCol3
D   nan ValCol2 nan
C   nan nan ValCol3

这里是desired output：

KeyCol  Len Vals
A   2   [ValCol1, ValCol2]
B   0   []
C   2   [ValCol1, ValCol3]
D   1   [ValCol2]

这是我迄今为止所做的......但似乎效率低下。我该如何优化它？

import pandas as pd

def iterate_rows_for_nonnulls(df, grouper):
    assert isinstance(df, pd.DataFrame)
    assert isinstance(grouper, (list, tuple))

    aggdic = {}
    for row, data in df.iterrows():
        key = tuple(data[grouper])
        nonnulls = data[~data.index.isin(grouper)]
        nonnulls = nonnulls[nonnulls.notnull()]
        data[data.notnull()]
        if key not in aggdic: 
            aggdic[key] = {}
            aggdic[key]['vals'] = nonnulls
        else:
            aggdic[key]['vals'] = aggdic[key]['vals'].append(nonnulls)

    for key, val in aggdic.iteritems():
        aggdic[key]['vals'] = aggdic[key]['vals'].unique()
        aggdic[key]['len'] = len(aggdic[key]['vals'])
    # Testing using [key for key in aggdic.iteritems() if aggdic[key[0]]['len']>0 ]
    return aggdic

def construct_df_from_nonnulls(aggdic):
    assert isinstance(aggdic, dict)
    return pd.DataFrame(dict(aggdic)).T

sourcedf = pd.read_table('https://gist.githubusercontent.com/roablep/a11da82de18b14bd2c3c/raw/257f2fa7634002db267e2ef599d6e0cd330c1c72/Sourcedata', sep = "\t")
aggdic = iterate_rows_for_nonnulls(sourcedf, ['KeyCol'])
resultsdf = construct_df_from_nonnulls(aggdic)

Answer 1

假设我正确理解你 - 让列名与这些列中所有元素的值相同是奇怪的 - 我认为你可以在{{1}之后简单地抛出groupby }} ING：

melt

强烈建议您阅读split-apply-combine模式的doc部分。

尽管如此，请注意，将像系列或数据框架中的列表这样的非标量对象作为元素是令人头疼的问题 - 它们并不真正受到支持。作为一个临时措施，它有时可以作为一个中间步骤，但在制作之后你不能对该系列做很多事情。

有效地将pandas数据帧列名转换为行值

1 个答案: