熊猫:处理丢失的数据(缺少字段)

时间:2017-03-16 07:21:39

标签: python csv pandas data-cleaning

这是我正在处理的数据

14922KMSP MSP2006020712081808   0.138 D                 0.083 D     346     3   349    4    30L60+              
14922KMSP MSP2006020712091809   0.127 D                 0.089 D     357     3    24    4    30L60+              
14922KMSP MSP2006020712101810   0.123 D                 0.088 D     353     3   342    4    30L60+              
14922KMSP MSP2006020712111811   0.119 D                  M    M     344     3   329    4    30L60+              
14922KMSP MSP2006020712121812   0.120 D                  M    M     329     3   280    3    30L60+              
14922KMSP MSP2006020712131813   0.118 D                  M    M     341     2     6    2    30L60+              
14922KMSP MSP2006020712331833   0.123 D                  M    M     359     4   338    5    30L60+              
14922KMSP MSP2006020712341834   0.122 D                  M    M     339     4   346    4    30L60+              
14922KMSP MSP2006020712351835   0.121 D                80000.00       346     3   321    3    30L60+            
14922KMSP MSP2006020712361836   0.118 D                10001.00         5     3     8    4    30L60+

前几个是正确的。

对于有问题的数据,例如

14922KMSP MSP2006020712111811   0.119 D                  M    M     344     3   329    4    30L60+        

由于列是有序的,因此仍然很容易处理。

但是

14922KMSP MSP2006020712361836   0.118 D                10001.00         5     3     8    4    30L60+

10001.00之后缺少一个字段,我该如何处理?

如果我做的话

df = pd.read_csv("MSP/out.dat", skipinitialspace=True, error_bad_lines=False, sep=' ',
                names = ['stationID','date','vis','day_type','vis2','day_type2','dir','speed','dir_max','speed_max','unknown','unknown2'])

丢失字段后的数据都会向左移动1列,有人能告诉我如何处理这种情况吗?

谢谢!

0 个答案:

没有答案