如何使用pd.DataFrame对象的查询方法与标签中带有“ - ”连字符的列?

时间:2018-06-07 17:06:44

标签: python pandas dataframe indexing

我想获取SWISS-PROT-ID字段的所有非nan ID以及True字段的idx_filter值。我还有其他一百万种方法可以考虑这样做,但在处理数据帧中更复杂的查询时,我遇到了这种反射。

query数据框是否可以将这些类型的名称作为列?

data = {'BLATTNER-ID': {'G0-16600': 'b4714', 'G6866': 'b1615', 'G0-10751': 'b4712', 'G0-10752': 'b4713', 'G6335': 'b0608', 'G6177': 'b0307', 'G0-8892': 'b4599', 'G0-10596': 'b4605', 'EG12861': 'b1915', 'EG12303': 'b1100'}, 'NAME': {'G0-16600': 'ralA', 'G6866': 'uidC', 'G0-10751': 'agrA', 'G0-10752': 'agrB', 'G6335': 'ybdR', 'G6177': 'ykgF', 'G0-8892': 'yneM', 'G0-10596': 'ypaB', 'EG12861': 'yecF', 'EG12303': 'ycfH'}, 'SWISS-PROT-ID': {'G0-16600': np.nan, 'G6866': 'Q47706', 'G0-10751': np.nan, 'G0-10752': np.nan, 'G6335': 'P77316', 'G6177': 'P77536', 'G0-8892': 'A5A616', 'G0-10596': np.nan, 'EG12861': 'P0AD07', 'EG12303': 'P0AFQ7'}, 'idx_filter': {'G0-16600': False, 'G6866': True, 'G0-10751': False, 'G0-10752': False, 'G6335': True, 'G6177': False, 'G0-8892': False, 'G0-10596': True, 'EG12861': False, 'EG12303': False}}
df = pd.DataFrame(data)

# 1st tried this
df.query("SWISS-PROT-ID and idx_filter").index
# UndefinedVariableError: name 'SWISS' is not defined
# 2nd tried escape characters
df.query("SWISS\-PROT\-ID and idx_filter").index
# UndefinedVariableError: name 'SWISS' is not defined

# Expecting
# ["G6335","G6866"]

版本:

pandas: 0.22.0 # I don't want to upgrade b/c there is a serious bug in 0.23.0 that breaks one of my programs 
python: 3.6.4 |Anaconda, Inc.| (default, Jan 16 2018, 12:04:33) 
[GCC 4.2.1 Compatible Clang 4.0.1 (tags/RELEASE_401/final)]

2 个答案:

答案 0 :(得分:1)

不幸的是,query使用pandas.eval(支持算术运算,因此列名中不允许使用这些运算符),因此没有针对所需结果的解决方法。

你有几个选择。首先,您可以简单地用其他东西替换破折号,例如下划线:

df.columns = [i.replace('-', '_') for i in df.columns]
df.query('SWISS_PROT_ID.notnull() & idx_filter')

或者您可以根据您的情况简单地编制索引:

df.loc[df['SWISS-PROT-ID'].notnull() & df.idx_filter]

两者都产生(虽然有人重命名了列):

      BLATTNER-ID  NAME SWISS-PROT-ID  idx_filter
G6335       b0608  ybdR        P77316        True
G6866       b1615  uidC        Q47706        True

答案 1 :(得分:1)

从熊猫0.25开始,您将能够使用反引号对列名进行转义,从而可以

df.query("`SWISS-PROT-ID` and idx_filter").index

Pandas query function not working with spaces in column names

被公然偷走