在构造DataFrame时如何模拟转换器?

时间:2013-02-27 17:15:02

标签: python pandas

我正在尝试创建一个小类来处理从ASCII文件中读取数据。以下是我写的代码。

class EyelinkParser(object):
    eyesample = namedtuple('Eyesample', ('time', 'x', 'y', 'pupil'))
    etevent = namedtuple('EyeTrackerEvent', ('time', 'msg'))
    _pos_cnvrt = lambda v: float(v.strip()) if '.' not in v else str('NaN')
    converters = {'time': lambda t: int(t.strip()),
                  'x': _pos_cnvrt,
                  'y': _pos_cnvrt,
                  'pupil': _pos_cnvrt,
                  'msg': lambda s: s.strip()
                 } 

    def __init__(self, fileobj):
        self.fileobj = fileobj
        self.started = False

        self.sample = []
        self.event = []

        self.parse()

    def parse(self):
        for line in self.fileobj:
            line = line.split('\t')
            if line[0] in ['START', 'END']:
                self.started = line[0] == 'START'

            if self.started:
                self.process_line(line)

        self.sample = pd.DataFrame(self.sample, columns=['time', 'x', 'y', 'pupil'], converters=self.converters)
        self.event = pd.DataFrame(self.event, columns=['time', 'msg'], converters=self.converters)

    def process_line(self, line):
        if len(line) == 2 and line[0] == 'MSG':
            msg_data = line[1].split()
            if len(msg_data) == 2:
                self.event.append(self.etevent(*msg_data))
        elif len(line) == 4:
            # TODO:  replace '.' with NaNs
            self.sample.append(self.eyesample(*line))

显然DataFrame类不支持转换器。有没有一种简单的方法来完成我想要做的事情?

总之,如何在DataFrame的每列中指定值的类型转换?

1 个答案:

答案 0 :(得分:1)

我不知道如何在调用DataFrame时明确地执行此操作。当我遇到这个问题时,我会用以下任何一种方法进行投射:

将类型传递给每列:

 self.sample['x'].astype(int)

但是既然你传递了函数,你可能需要使用以下代码:

self.sample['x'].map(_pos_cnvrt) 
self.sample['msg'].map(lambda s:s.strip())

此外,pandas还有一些用矢量化字符串方法来帮助:

self.sample['msg'].str.strip()