Question

我得到了一个愚蠢的csv，其中包含20,000行数据，仅涉及约300个案例，所以我想尝试以更有意义的方式对事物进行分组，所以我现在有一个包含300个案例的文本文件，其中两个的样本如下：

[{＆＃34; Treatment＆＃34;：[＆＃34;＆＃34;]，＆＃34; Year＆＃34;：＆＃34; 2004＆＃34;，＆＃34; Reason＆＃34 ;：＆＃34;故意/可疑自杀＆＃34;，＆＃34; CaseNumber＆＃34;：＆＃34; 9999＆＃34;，＆＃34; OutCome＆＃34;：＆＃34;次要影响＆＃34; ，＆＃34;症状＆＃34;：[＆＃34;昏昏欲睡/嗜睡/相关＆＃34;]，＆＃34; case_drugs＆＃34;：[{＆＃34; Substance＆＃34;：＆＃34; RIVOTRIL＆＃34;，＆＃34; Poisindex_Desc＆＃34;：＆＃34; BENZODIAZEPINE＆＃34;，＆＃34; SubstanceFormula_20c＆＃34;：＆＃34; LIQUID＆＃34;，＆＃34; SubstanceProductCode＆＃34;：＆＃34; 999＆＃34;，＆＃34; RouteExp＆＃34;：＆＃34; INGEST＆＃34;，＆＃34; SubstanceGeneric_AAPCC_Code＆＃34;：＆＃34; 999＆＃34;}，{＆＃34;物质＆＃34;：＆＃34; HYDROMORPHONE X 15 SYRINGES 6 MG EA＆＃34;，＆＃34; Poisindex_Desc＆＃34;：＆＃34; HYDROMORPHONE＆＃34;，＆＃34; SubstanceFormula_20c＆＃34;：＆＃34 ; LIQUID＆＃34;，＆＃34; SubstanceProductCode＆＃34;：＆＃34; 9999＆＃34;，＆＃34; RouteExp＆＃34;：＆＃34; INGEST＆＃34;，＆＃34; SubstanceGeneric_AAPCC_Code＆＃34; ：＆＃34; 9999＆＃34;}]，＆＃34; Acuity＆＃34;：＆＃34;急性＆＃34;，＆＃34; AgeGroup＆＃34;：＆＃34; 90-99岁＆＃34; ，＆＃34; SEX＆＃34;：＆＃34; zoidberg＆＃34; }，
{＆＃34;治疗＆＃34;：[＆＃34;单剂量活性炭＆＃34;，＆＃34; IV液体＆＃34;]，＆＃34;年＆＃34;：＆＃34; 2006＆＃34 ;，＆＃34;原因＆＃34;：＆＃34;无意/一般＆＃34;，＆＃34; CaseNumber＆＃34;：＆＃34; 8888＆＃34;，＆＃34; OutCome＆＃34;：＆＃34;可能的最小临床影响＆＃34;，＆＃34;症状＆＃34;：[＆＃34;＆＃34;]，＆＃34; case_drugs＆＃34;：[{＆＃34; Substance＆＃34; ：＆＃34; LOPERAMIDE 2MG X 1/2＆＃34;，＆＃34; Poisindex_Desc＆＃34;：＆＃34; LOPERAMIDE＆＃34;，＆＃34; SubstanceFormula_20c＆＃34;：＆＃34; SOLID（TABLETS / CAPSULES / CAPLETS）＆＃34;，＆＃34; SubstanceProductCode＆＃34;：＆＃34; 88＆＃34;，＆＃34; RouteExp＆＃34;：＆＃34; INGEST＆＃34;，＆＃34; SubstanceGeneric_AAPCC_Code＆＃34;：＆＃34; 88＆＃34;}]，＆＃34; Acuity＆＃34;：＆＃34;急性＆＃34;，＆＃34; AgeGroup＆＃34;：＆＃34; L5岁＆＃34 ;，＆＃34; SEX＆＃34;：＆＃34; F＆＃34;}]

类似于＆＃34;年＆＃34;每种情况只有1个值。＆＃34;症状＆＃34;有一个值列表，＆＃34; case_drugs＆＃34;有一个dicts列表。这种格式对我来说很有意义，因为1个人可以有多种药物，每种药物都有多种与之相关的属性。我并不是真的想要压扁数据，因为像药物变量这样的东西确实没有最大数量的条目，所以如果我喜欢＆＃34; drug1，drug2可能，药物3＆＃34;然后，下次我得到数据时，我必须添加一个＆＃34; drug4＆＃34;。

目前，我可以在pandas中加载文件并分析其中的大部分内容。对于列表值，我发现另一个堆栈交换帖子，建议我可以使用它：

df['Symptoms'].apply(lambda x: pd.Series(x).value_counts()).sum()

完美无缺。我确定我可以用类似的方法弄清楚如何进行其他分析。我仍然不确定如何分析case_drugs变量。我可以使自己的函数循环并读取数据，但我想知道pandas中是否存在能够执行此操作的现有功能。例如，如果我想计算次数＆＃39; RIVOTRIL＆＃39;出现在＆＃34;物质＆＃34;值＆＃34; case_drugs＆＃34;变量？

或者，如果您认为我以不同方式存储数据会更好，那也是可以接受的答案！

由于

Answer 1

对于case_drugs变量，一种方法是为它创建另一个数据帧。

df_case_drugs = pd.DataFrame(df['case_drugs'].values[0])
df_case_drugs['Substance'].value_counts()
>>>
RIVOTRIL                               1
HYDROMORPHONE X 15 SYRINGES 6 MG EA    1

<强>更新：创建包含case_drugs。

中所有条目的数据框

我首先将case_drugs中的词条列表拆分（爆炸）到自己的行，然后使用CaseNumber作为索引。

df_case_drugs = pd.DataFrame(df['case_drugs'].tolist(), index=df['CaseNumber']).stack()
df_case_drugs = df_case_drugs.reset_index()

这为您提供了一个数据框，在名为0的列中每行包含一个dict。（您可以重命名该列，但我们仍然不保留此列，因此它并不重要。）

然后将dicts转换为数据帧。

df_case_drugs = pd.concat([df_case_drugs['CaseNumber'], 
    pd.DataFrame(df_case_drugs[0].tolist())], axis=1)

计算值：

df_case_drugs['Substance'].value_counts()
>>>
RIVOTRIL                               1
LOPERAMIDE 2MG X 1/2                   1
HYDROMORPHONE X 15 SYRINGES 6 MG EA    1

分析pandas中的数据，其中一些值是dicts列表

1 个答案: