我有一个数据帧操作如下:
master['c']=master['c'].apply(ast.literal_eval)
这会转换列' c'中的所有行。到json表示,但用单引号。但是为了让Redshift能够识别这个JSON对象,我需要将单引号替换为双引号。
master['c']=master['c'].apply(lambda x:json.dumps(x))
但是我的数据非常庞大(大约是3M记录),将数据转换为适当的JSON对象需要40分钟。还有其他方法吗?我尝试将其写入文件并替换字符,但它没有按照预期的方式工作。感谢您阅读
编辑1 :
示例数据:
{"major":"rule1":{"id":12,"name":"bhargavi"},"rule2":{"id":32,"name":"qwerty"}}
我首先使用to_json()
将数据帧转换为json输出。然后我使用replace()
替换所有反斜杠。