Question

基于评论的更新（2018/11/06）：

这是我正在使用的实际.csv文件（从原始帖子中略有扩展）。假设我无法更改.csv文件的格式，怎么办

（a）获取一系列参加“测试1”的学生和分数吗？

（b）重组数据以使其更易于获取（a）

Year,2017
Class,A
Test,1
Bob,71
Cathy,72
,
Test,2
Steve,73
Janet,74
,
,
Class,B
Test,1
Jim,75
Pam,76
,
Test,2
Linus,77
Lucy,78
,
,
,
Year,2018
Class,A
Test,1
Charles,79
Cindy,80
,
Test,2
Stanley,81
Kari,82
,
,
Class,B
Test,1
Duke,83
Amy,84
,
Test,2
Craig,85
Valerie,86

--------------------------------------------------- -----------------

原始帖子：

假设我具有以下数据框：

import pandas as pd
data = [['Class A'],['Test 1'],['Bob',87],['Cathy',88],['Test 2'],['Steve',82],['Janet',81],['Class B'],['Test 1'],['Jim',92],['Pam',95],['Test 2'],['Linus',73],['Lucy',70]]
df = pd.DataFrame(data)
print(df)

哪种类型的

          0     1
0   Class A   NaN
1    Test 1   NaN
2       Bob  87.0
3     Cathy  88.0
4    Test 2   NaN
5     Steve  82.0
6     Janet  81.0
7   Class B   NaN
8    Test 1   NaN
9       Jim  92.0
10      Pam  95.0
11   Test 2   NaN
12    Linus  73.0
13     Lucy  70.0

是否可以选择参加考试1的两个班级的学生所获得的分数？即

Bob  87.0
Cathy  88.0
Jim  92.0
Pam  95.0

谢谢！

Answer 1

编辑： 将数据从给定的源文件导入到结构化数据框，以便能够使用便捷的分析功能：

想法是遍历文本文件的各行。
  -我假设每一行都由两个逗号分隔的字符串组成。
  -每行具有第一个字符串（“年”，“类”和“测试”之一）的行仅用于更新保存这三个值的当前集合的字典。
  -所有其他行都用于将其数据以及年，班级和考试信息附加到列表data。
  -第一个字符串为空字符串的行除外。

with open('no_csv.txt', 'r') as f:
    Idx = {'Year': None, 'Class': None, 'Test': None}
    data = []
    for line in f:
        key, value = line.strip().split(',')
        if key in Idx.keys():
            Idx[key] = value
        elif key != '':
            data.append(list(Idx.values()) + [key, value])
df = pd.DataFrame(data, columns=['Year', 'Class', 'Test', 'Name', 'Points'])


df

    Year Class Test     Name Points
0   2017     A    1      Bob     71
1   2017     A    1    Cathy     72
2   2017     A    2    Steve     73
3   2017     A    2    Janet     74
4   2017     B    1      Jim     75
5   2017     B    1      Pam     76
6   2017     B    2    Linus     77
7   2017     B    2     Lucy     78
8   2018     A    1  Charles     79
9   2018     A    1    Cindy     80
10  2018     A    2  Stanley     81
11  2018     A    2     Kari     82
12  2018     B    1     Duke     83
13  2018     B    1      Amy     84
14  2018     B    2    Craig     85
15  2018     B    2  Valerie     86

请注意，此代码依赖于字典中的有序键，这是从Python 3.7开始的普通dict中实现的。要在Python 3.6或更低版本中确保这一点，应使用OrderedDict：

from collections import OrderedDict
Idx = OrderedDict(Year=None, Class=None, Test=None)

进行重组以更好地处理

我建议重组您的数据框。如果您严格定义列的含义，则会得到例如这样：

data = [
['Class A', 'Test 1', 'Bob', 87],
['Class A', 'Test 1', 'Cathy', 88],
['Class A', 'Test 2', 'Steve', 82],
['Class A', 'Test 2', 'Janet', 81],
['Class B', 'Test 1', 'Jim', 92],
['Class B', 'Test 1', 'Pam', 95],
['Class B', 'Test 2', 'Linus', 73],
['Class B', 'Test 2', 'Lucy', 70]]

df = pd.DataFrame(data)

         0       1      2   3
0  Class A  Test 1    Bob  87
1  Class A  Test 1  Cathy  88
2  Class A  Test 2  Steve  82
3  Class A  Test 2  Janet  81
4  Class B  Test 1    Jim  92
5  Class B  Test 1    Pam  95
6  Class B  Test 2  Linus  73
7  Class B  Test 2   Lucy  70

在数据框中具有此结构，您只需查询所有行，其中测试列为Test 1：

df[df[1]=='Test 1']

         0       1      2   3
0  Class A  Test 1    Bob  87
1  Class A  Test 1  Cathy  88
4  Class B  Test 1    Jim  92
5  Class B  Test 1    Pam  95

通过使用列名来过滤数据

由于pandas数据框可能具有列名，因此您甚至可以为列指定一个有意义的名称，以描述存储在其中的数据，从而使其更具可读性，并减少冗余数据：

data = [
['A', 1, 'Bob', 87],
['A', 1, 'Cathy', 88],
['A', 2, 'Steve', 82],
['A', 2, 'Janet', 81],
['B', 1, 'Jim', 92],
['B', 1, 'Pam', 95],
['B', 2, 'Linus', 73],
['B', 2, 'Lucy', 70]]

df = pd.DataFrame(data, columns=['Class', 'Test', 'Name', 'Points'])

df[df.Test==1]

  Class  Test   Name  Points
0     A     1    Bob      87
1     A     1  Cathy      88
4     B     1    Jim      92
5     B     1    Pam      95

这样做可以使您获得进一步的分析结果...

像这样的数据结构可以访问非常方便的熊猫函数，以解决您可能想回答的下一个明显问题，例如：

每个测试的每个班级的平均分数是多少？

df.groupby(['Class', 'Test']).mean()

            Points
Class Test        
A     1       87.5
      2       81.5
B     1       93.5
      2       71.5

谁是每个课程中最好的一个？

df.loc[df.groupby(['Class', 'Test']).Points.idxmax()]

  Class  Test   Name  Points
1     A     1  Cathy      88
2     A     2  Steve      82
5     B     1    Pam      95
6     B     2  Linus      73

Answer 2

尝试例如：

df[~df[1].isnull()]

0   1
2   Bob     87.0
3   Cathy   88.0
5   Steve   82.0
6   Janet   81.0
9   Jim     92.0
10  Pam     95.0
12  Linus   73.0
13  Lucy    70.0

这会给您所有学生及其成绩。现在，要进行子设置，我们需要获取测试B数据何时开始的索引。为此，请执行以下操作：

df[(df[0]=="Class B")].index

，它将告诉您7。这意味着，所有索引号大于7的学生都在B类中，而索引号小于7的所有学生都在A类中。类似地，您可以子集化以获得Test 1和Test 2的行。按照此逻辑，我们可以以下内容（尽管这比我预期的要丑陋...）：

students = df[~df[1].isnull()].index
classdiv = df[(df[0]=="Class B")].index[0]
classA = df.loc[range(0,classdiv)]
classB = df.loc[range(classdiv, len(df))]
ATestDiv = classA[classA[0]=="Test 2"].index[0]
BTestDiv = classB[classB[0]=="Test 2"].index[0]

Test1 = [ind for ind in students if ind < classdiv and ind < ATestDiv] + \
        [ind for ind in students if ind > classdiv and ind < BTestDiv]

df.iloc[Test1]
    0   1
2   Bob     87.0
3   Cathy   88.0
9   Jim     92.0
10  Pam     95.0

熊猫数据框：根据其他行中的条目选择多行

--------------------------------------------------- -----------------

2 个答案: