Question

如何为numpy指定一列以拆分数据集？

现在，我正尝试拆分具有以下格式的数据集，即数据项

{
            "tweet_id": "1234456", 
            "tweet": "hello world", 
            "labels": {
                "item1": 2, 
                "item2": 1
            }
        }, 
        {
            "tweet_id": "567890976", 
            "tweet": "testing", 
            "labels": {
                "item1": 2, 
                "item2": 1, 
                "item3": 1, 
                "item4": 1
            }
        }

目前可行的方法是仅在列表中获取tweet_id并将其拆分，但我想知道是否存在使用numpy.split（）直接拆分此json文件的方法

TRAINPCT = 0.50
DEVPCT = 0.25
TESTPCT = 1 - TRAINPCT - DEVPCT

train, dev, test = np.split(dataitems, [int(TRAINPCT * len(dataitems)), int((TRAINPCT+DEVPCT) * len(dataitems))])

这只是抛出错误而已

OrderedDict([('tweet_id', '1234456'), ('tweet', "hello world""), ('labels', Counter({'item1': 2, 'item2': 1}))])],
      dtype=object) is not JSON serializable

谢谢

Answer 1

pandas提供了将json数据转换为DataFrame对象的功能，该对象基本上像表一样工作。可能值得考虑一下，而不要使用numpy：

In [1]: from pandas.io.json import json_normalize
   ...: 
   ...: raw = [{"tweet_id": "1234456",
   ...:         "tweet": "hello world",
   ...:         "labels": {
   ...:             "item1": 2,
   ...:             "item2": 1
   ...:         }},
   ...:        {"tweet_id": "567890976",
   ...:         "tweet": "testing",
   ...:         "labels": {
   ...:             "item1": 2,
   ...:             "item2": 1,
   ...:             "item3": 1,
   ...:             "item4": 1
   ...:         }
   ...:         }]
   ...: 
   ...: df = json_normalize(raw)

In [2]: df
Out[2]: 
   labels.item1  labels.item2  labels.item3  labels.item4        tweet  \
0             2             1           NaN           NaN  hello world   
1             2             1           1.0           1.0      testing   

    tweet_id  
0    1234456  
1  567890976

Answer 2

弄清楚我无法按照同一数据框上的所有内容执行此操作。我所做的只是将tweet_id提取到一个数据框中->拆分它们，然后根据tweet_id的拆分来匹配初始数据集中的标签。

通过使用特定的列名来分割数据？

2 个答案: