无法腌制大熊猫数据框

时间:2018-07-27 13:37:28

标签: python dataframe pickle

我的python数据帧名称为record_rules。 Df有900万条记录,每条记录有8列。

当我使用info命令时,它会提供以下输出:

recording_rules.memory_usage(index=True, deep=False).sum()
Out[6]: 574725072

我正在尝试使用以下命令将其腌制到我的文件系统中。

recording_rules.to_pickle('/Users/recording_rules_filtered_sentence.pkl')

该命令运行了将近2个小时,但仍未完成或给出任何错误。

我还尝试将此数据帧写入CSV,它生成了一个4.1 GB的CSV文件。

recording_rules.to_csv('/ Users / recording_rules_filtered_sentence.csv',sep ='|')

这需要30-40分钟才能完成。

在此处提供数据框示例:

                  start_time             end_time      channel  user_id  \
0        2018-04-14 04:07:54  2018-04-14 04:54:38      Yle TV2        6   
1        2018-04-14 12:25:00  2018-04-14 13:25:00  TLC Finland        6   
2        2018-04-15 00:55:00  2018-04-15 01:55:00  TLC Finland        6   
3        2018-04-15 15:25:00  2018-04-15 15:55:00         MTV3        6   
4        2018-04-15 19:30:00  2018-04-15 21:00:00         MTV3        6   
5        2018-04-15 19:00:00  2018-04-15 20:00:00          Sub        6   
6        2018-04-16 03:55:00  2018-04-16 04:45:00  TLC Finland        6   
7        2018-04-16 10:00:00  2018-04-16 11:00:00          AVA        6   
8        2018-04-16 11:55:00  2018-04-16 12:50:00  TLC Finland        6   
9        2018-04-16 13:25:00  2018-04-16 14:20:00  TLC Finland        6   
10       2018-04-16 22:00:00  2018-04-16 23:00:00          FOX        6   
11       2018-04-17 11:55:00  2018-04-17 12:25:00  TLC Finland        6   
12       2018-04-17 20:00:00  2018-04-17 21:00:00          Liv        6   
13       2018-04-17 21:00:00  2018-04-17 22:00:00          Sub        6   
14       2018-04-17 22:00:00  2018-04-17 22:30:00          Liv        6   
15       2018-04-18 11:55:00  2018-04-18 12:55:00  TLC Finland        6   
16       2018-04-18 20:00:00  2018-04-18 21:00:00          AVA        6   
17       2018-04-18 22:00:00  2018-04-18 23:00:00          Liv        6   
18       2018-04-18 22:00:00  2018-04-18 23:00:00          Sub        6   
19       2018-04-18 22:30:00  2018-04-18 23:30:00          Sub        6   
20       2018-04-19 22:00:00  2018-04-19 23:00:00      Nelonen        6   
21       2018-04-20 00:05:00  2018-04-20 01:10:00  TLC Finland        6   
22       2018-04-20 12:30:00  2018-04-20 13:25:00  TLC Finland        6   
23       2018-04-20 19:00:00  2018-04-20 20:00:00         Frii        6   
24       2018-04-20 22:00:00  2018-04-20 23:00:00          Liv        6   
25       2018-04-20 23:35:00  2018-04-21 00:35:00          Liv        6   
26       2018-04-21 12:20:00  2018-04-21 13:20:00  TLC Finland        6   
27       2018-04-22 01:00:00  2018-04-22 02:00:00  TLC Finland        6   
28       2018-04-22 16:25:00  2018-04-22 18:25:00      Nelonen        6   
29       2018-04-22 20:30:00  2018-04-22 21:55:00      Nelonen        6   
                     ...                  ...          ...      ...   
8980048  2014-12-14 01:30:00  2014-12-14 02:15:00          FOX        5   
8980049  2014-12-14 19:00:00  2014-12-14 20:57:00      Nelonen        5   
8980050  2014-12-15 21:00:00  2014-12-15 23:05:00      Nelonen        5   
8980051  2014-12-16 20:55:03  2014-12-16 21:00:00      Yle TV2        5   
8980052  2014-12-16 21:00:00  2014-12-16 23:15:00         Hero        5   
8980053  2014-12-16 23:50:00  2014-12-17 00:35:00          FOX        5   
8980054  2014-12-17 20:55:00  2014-12-17 21:00:08      Yle TV2        5   
8980055  2014-12-18 00:00:00  2014-12-18 00:50:00          FOX        5   
8980056  2014-12-18 22:00:00  2014-12-18 23:00:00          Sub        5   
8980057  2014-12-19 13:50:00  2014-12-19 14:40:07      Yle TV2        5   
8980058  2014-12-19 18:50:00  2014-12-19 21:00:00          TV5        5   
8980059  2014-12-19 22:05:00  2014-12-19 22:55:07      Yle TV2        5   
8980060  2014-12-20 11:50:06  2014-12-20 11:55:07      Yle TV2        5   
8980061  2014-12-20 21:00:00  2014-12-20 23:50:00          TV5        5   
8980062  2014-12-21 01:00:00  2014-12-21 01:45:00          FOX        5   
8980063  2014-12-20 23:00:00  2014-12-21 01:15:00      Kutonen        5   
8980064  2014-12-21 19:00:00  2014-12-21 20:52:00      Nelonen        5   
8980065  2014-12-21 21:05:00  2014-12-21 21:56:00      Yle TV1        5   
8980066  2014-12-22 19:30:00  2014-12-22 20:52:00      Nelonen        5   
8980067  2014-12-23 11:44:45  2014-12-23 11:50:00      Yle TV2        5   
8980068  2014-12-23 19:30:00  2014-12-23 20:52:00      Nelonen        5   
8980069  2014-12-23 21:00:00  2014-12-23 22:50:00          Liv        5   
8980070  2014-12-24 20:45:36  2014-12-24 22:40:51      Yle TV1        5   
8980071  2014-12-24 21:00:07  2014-12-24 21:50:02      Yle TV2        5   
8980072  2014-12-24 18:10:00  2014-12-24 19:00:00      Kutonen        5   
8980073  2014-12-24 22:00:00  2014-12-24 23:20:00      Nelonen        5   
8980074  2014-12-25 14:25:11  2014-12-25 15:15:00      Yle TV2        5   
8980075  2014-12-25 22:00:00  2014-12-25 23:00:00          Sub        5   
8980076  2014-12-26 14:30:00  2014-12-26 15:18:20      Yle TV2        5   
8980077  2014-12-26 18:55:08  2014-12-26 19:00:00      Yle TV2        5   

         duration                              filtered_decscription  
0          2804.0  [Kotisohvilla, arvuutellaan,, Kenen, kotona?, ...  
1          3600.0  [Kausi, 4,, osa, 11., Dokumentaarinen, sarja, ...  
2          3600.0  [Kausi, 4,, osa, 3., Janelle, tekee, radikaali...  
3          1800.0  [Kausi, 1,, 7/10., Antti, Saara, saavat, kultt...  
4          5400.0  [Kausi, 2,, 11/14., X, Factorin, suorat, lähet...  
5          3600.0  [Kausi, 1,, jakso, 1/8., Monilahjakas, Paula, ...  
6          3000.0  [Kausi, 4,, osa, 4., Joulu, lähestyy,, eivätkä...  
7          3600.0  [Kausi, 14,, 2/19., Villiä, menoa, Meksikossa....  
8          3300.0  [Kausi, 4,, osa, 12., Brownit, juhlivat, Aspyn...  
9          3300.0  [Kausi, 4,, osa, 15., Kody, jää, yksin, kotiin...  
10         3600.0  [Kausi, 8., Jakso, 16/16., Viha., Aamu, valken...  
11         1800.0  [Kausi, 4,, osa, 13., Brownit, vastailevat, ka...  
12         3600.0  [Kausi, 3., Jakso, 5/12., Mies,, murskaa, ennä...  
13         3600.0  [Kausi, 1,, jakso, 2/8., Mikael, Gabriel, purs...  
14         1800.0  [Kausi, 3., Jakso, 6/12., Sarjassa, puidaan, J...  
15         3600.0  [Kausi, 4,, osa, 16., Brownien, juhlajärjestel...  
16         3600.0  [Kausi, 1,, 3/10., Neljä, erilaista, kotia, ne...  
17         3600.0  [Kausi, 2., Jakso, 16/22., Yhteyksiä., Salalii...  
18         3600.0  [Kausi, 1,, jakso, 2/8., Mikael, Gabriel, purs...  
19         3600.0  [Kausi, 1,, jakso, 2/8., Mikael, Gabriel, purs...  
20         3600.0  [Kausi, 4., Jakso, 12/24., Tuusulan, viemää., ...  
21         3900.0  [Kausi, 4,, osa, 8., Brownit, osallistuvat, mo...  
22         3300.0  [Kausi, 4,, osa, 18., Juhlapäivä, lähestyy,, a...  
23         3600.0  [Kausi, 5,, osa, 10., Tukholma, suhteellisen, ...  
24         3600.0  [Kausi, 3., Jakso, 6/12., Sodassa, rakkaudessa...  
25         3600.0  [Kausi, 2., Jakso, 16/22., Yhteyksiä., Salalii...  
26         3600.0  [Kausi, 4,, osa, 19., Juhlapäivä, viimein, käs...  
27         3600.0  [Kausi, 4,, osa, 10., On, äitienpäivä,, Kody, ...  
28         7200.0  [Kausi, 7., Jakso, 24/24., Finaali., Tänään, s...  
29         5100.0  [Kausi, 1., Jakso, 12/15., Koti-ikävä., Tänään...  

0 个答案:

没有答案