我的python数据帧名称为record_rules。 Df有900万条记录,每条记录有8列。
当我使用info命令时,它会提供以下输出:
recording_rules.memory_usage(index=True, deep=False).sum()
Out[6]: 574725072
我正在尝试使用以下命令将其腌制到我的文件系统中。
recording_rules.to_pickle('/Users/recording_rules_filtered_sentence.pkl')
该命令运行了将近2个小时,但仍未完成或给出任何错误。
我还尝试将此数据帧写入CSV,它生成了一个4.1 GB的CSV文件。
recording_rules.to_csv('/ Users / recording_rules_filtered_sentence.csv',sep ='|')
这需要30-40分钟才能完成。
在此处提供数据框示例:
start_time end_time channel user_id \
0 2018-04-14 04:07:54 2018-04-14 04:54:38 Yle TV2 6
1 2018-04-14 12:25:00 2018-04-14 13:25:00 TLC Finland 6
2 2018-04-15 00:55:00 2018-04-15 01:55:00 TLC Finland 6
3 2018-04-15 15:25:00 2018-04-15 15:55:00 MTV3 6
4 2018-04-15 19:30:00 2018-04-15 21:00:00 MTV3 6
5 2018-04-15 19:00:00 2018-04-15 20:00:00 Sub 6
6 2018-04-16 03:55:00 2018-04-16 04:45:00 TLC Finland 6
7 2018-04-16 10:00:00 2018-04-16 11:00:00 AVA 6
8 2018-04-16 11:55:00 2018-04-16 12:50:00 TLC Finland 6
9 2018-04-16 13:25:00 2018-04-16 14:20:00 TLC Finland 6
10 2018-04-16 22:00:00 2018-04-16 23:00:00 FOX 6
11 2018-04-17 11:55:00 2018-04-17 12:25:00 TLC Finland 6
12 2018-04-17 20:00:00 2018-04-17 21:00:00 Liv 6
13 2018-04-17 21:00:00 2018-04-17 22:00:00 Sub 6
14 2018-04-17 22:00:00 2018-04-17 22:30:00 Liv 6
15 2018-04-18 11:55:00 2018-04-18 12:55:00 TLC Finland 6
16 2018-04-18 20:00:00 2018-04-18 21:00:00 AVA 6
17 2018-04-18 22:00:00 2018-04-18 23:00:00 Liv 6
18 2018-04-18 22:00:00 2018-04-18 23:00:00 Sub 6
19 2018-04-18 22:30:00 2018-04-18 23:30:00 Sub 6
20 2018-04-19 22:00:00 2018-04-19 23:00:00 Nelonen 6
21 2018-04-20 00:05:00 2018-04-20 01:10:00 TLC Finland 6
22 2018-04-20 12:30:00 2018-04-20 13:25:00 TLC Finland 6
23 2018-04-20 19:00:00 2018-04-20 20:00:00 Frii 6
24 2018-04-20 22:00:00 2018-04-20 23:00:00 Liv 6
25 2018-04-20 23:35:00 2018-04-21 00:35:00 Liv 6
26 2018-04-21 12:20:00 2018-04-21 13:20:00 TLC Finland 6
27 2018-04-22 01:00:00 2018-04-22 02:00:00 TLC Finland 6
28 2018-04-22 16:25:00 2018-04-22 18:25:00 Nelonen 6
29 2018-04-22 20:30:00 2018-04-22 21:55:00 Nelonen 6
... ... ... ...
8980048 2014-12-14 01:30:00 2014-12-14 02:15:00 FOX 5
8980049 2014-12-14 19:00:00 2014-12-14 20:57:00 Nelonen 5
8980050 2014-12-15 21:00:00 2014-12-15 23:05:00 Nelonen 5
8980051 2014-12-16 20:55:03 2014-12-16 21:00:00 Yle TV2 5
8980052 2014-12-16 21:00:00 2014-12-16 23:15:00 Hero 5
8980053 2014-12-16 23:50:00 2014-12-17 00:35:00 FOX 5
8980054 2014-12-17 20:55:00 2014-12-17 21:00:08 Yle TV2 5
8980055 2014-12-18 00:00:00 2014-12-18 00:50:00 FOX 5
8980056 2014-12-18 22:00:00 2014-12-18 23:00:00 Sub 5
8980057 2014-12-19 13:50:00 2014-12-19 14:40:07 Yle TV2 5
8980058 2014-12-19 18:50:00 2014-12-19 21:00:00 TV5 5
8980059 2014-12-19 22:05:00 2014-12-19 22:55:07 Yle TV2 5
8980060 2014-12-20 11:50:06 2014-12-20 11:55:07 Yle TV2 5
8980061 2014-12-20 21:00:00 2014-12-20 23:50:00 TV5 5
8980062 2014-12-21 01:00:00 2014-12-21 01:45:00 FOX 5
8980063 2014-12-20 23:00:00 2014-12-21 01:15:00 Kutonen 5
8980064 2014-12-21 19:00:00 2014-12-21 20:52:00 Nelonen 5
8980065 2014-12-21 21:05:00 2014-12-21 21:56:00 Yle TV1 5
8980066 2014-12-22 19:30:00 2014-12-22 20:52:00 Nelonen 5
8980067 2014-12-23 11:44:45 2014-12-23 11:50:00 Yle TV2 5
8980068 2014-12-23 19:30:00 2014-12-23 20:52:00 Nelonen 5
8980069 2014-12-23 21:00:00 2014-12-23 22:50:00 Liv 5
8980070 2014-12-24 20:45:36 2014-12-24 22:40:51 Yle TV1 5
8980071 2014-12-24 21:00:07 2014-12-24 21:50:02 Yle TV2 5
8980072 2014-12-24 18:10:00 2014-12-24 19:00:00 Kutonen 5
8980073 2014-12-24 22:00:00 2014-12-24 23:20:00 Nelonen 5
8980074 2014-12-25 14:25:11 2014-12-25 15:15:00 Yle TV2 5
8980075 2014-12-25 22:00:00 2014-12-25 23:00:00 Sub 5
8980076 2014-12-26 14:30:00 2014-12-26 15:18:20 Yle TV2 5
8980077 2014-12-26 18:55:08 2014-12-26 19:00:00 Yle TV2 5
duration filtered_decscription
0 2804.0 [Kotisohvilla, arvuutellaan,, Kenen, kotona?, ...
1 3600.0 [Kausi, 4,, osa, 11., Dokumentaarinen, sarja, ...
2 3600.0 [Kausi, 4,, osa, 3., Janelle, tekee, radikaali...
3 1800.0 [Kausi, 1,, 7/10., Antti, Saara, saavat, kultt...
4 5400.0 [Kausi, 2,, 11/14., X, Factorin, suorat, lähet...
5 3600.0 [Kausi, 1,, jakso, 1/8., Monilahjakas, Paula, ...
6 3000.0 [Kausi, 4,, osa, 4., Joulu, lähestyy,, eivätkä...
7 3600.0 [Kausi, 14,, 2/19., Villiä, menoa, Meksikossa....
8 3300.0 [Kausi, 4,, osa, 12., Brownit, juhlivat, Aspyn...
9 3300.0 [Kausi, 4,, osa, 15., Kody, jää, yksin, kotiin...
10 3600.0 [Kausi, 8., Jakso, 16/16., Viha., Aamu, valken...
11 1800.0 [Kausi, 4,, osa, 13., Brownit, vastailevat, ka...
12 3600.0 [Kausi, 3., Jakso, 5/12., Mies,, murskaa, ennä...
13 3600.0 [Kausi, 1,, jakso, 2/8., Mikael, Gabriel, purs...
14 1800.0 [Kausi, 3., Jakso, 6/12., Sarjassa, puidaan, J...
15 3600.0 [Kausi, 4,, osa, 16., Brownien, juhlajärjestel...
16 3600.0 [Kausi, 1,, 3/10., Neljä, erilaista, kotia, ne...
17 3600.0 [Kausi, 2., Jakso, 16/22., Yhteyksiä., Salalii...
18 3600.0 [Kausi, 1,, jakso, 2/8., Mikael, Gabriel, purs...
19 3600.0 [Kausi, 1,, jakso, 2/8., Mikael, Gabriel, purs...
20 3600.0 [Kausi, 4., Jakso, 12/24., Tuusulan, viemää., ...
21 3900.0 [Kausi, 4,, osa, 8., Brownit, osallistuvat, mo...
22 3300.0 [Kausi, 4,, osa, 18., Juhlapäivä, lähestyy,, a...
23 3600.0 [Kausi, 5,, osa, 10., Tukholma, suhteellisen, ...
24 3600.0 [Kausi, 3., Jakso, 6/12., Sodassa, rakkaudessa...
25 3600.0 [Kausi, 2., Jakso, 16/22., Yhteyksiä., Salalii...
26 3600.0 [Kausi, 4,, osa, 19., Juhlapäivä, viimein, käs...
27 3600.0 [Kausi, 4,, osa, 10., On, äitienpäivä,, Kody, ...
28 7200.0 [Kausi, 7., Jakso, 24/24., Finaali., Tänään, s...
29 5100.0 [Kausi, 1., Jakso, 12/15., Koti-ikävä., Tänään...