我有一个有1000万行的csv文件。我有4列,其中一列包含json数据。现在我必须将json数据转换为数据帧。我找到了以下feed。它的工作正常,少了一行。但是当我尝试使用相同的函数来读取整个数据时,它无法处理它。甚至不是5万行。
我的系统:64位4 GB RAM和500硬盘
数据:
id,event,event_timestamp,properties
a,x,2016-08-29 02:07:56.88,"{""email_id"": ""a@gmail.com"", ""timeStamp"": ""29-08-2016 07:43:10"", ""No Of Products"": 1, ""Cart Value"": ""1495""}"
b,y,2016-08-29 03:04:00.08,"{""email_id"": ""b@gmail.com"", ""timeStamp"": ""29-08-2016 08:39:03"", ""No Of Products"": 4, ""Cart Value"": ""877""}"
c,x,2016-08-29 00:26:23.213,"{""category"": ""dd"", ""timeStamp"": ""29-08-2016 06:00:27""}"
d,x,2016-08-29 02:31:20.89,"{""timeStamp"": ""29-08-2016 08:05:40""}"
e,x,2016-08-29 03:12:53.29,"{""search_query"": ""text str "", ""timeStamp"": ""29-08-2016 08:49:57""}"