Question

我循环到目录中的csv文件并用pandas读取它们。对于每个csv文件，我有一个类别和一个市场。然后我需要从数据库中获取类别的id和市场的id，这对于这个csv文件是有效的。

finalDf是一个包含所有csv文件的所有产品的数据框，我需要在当前的csv中附加数据。

使用以下方法检索当前CSV的产品列表：

df['PRODUCT']

我需要将它们附加到finalDf并使用：

finalDf['PRODUCT'] =  finalDf['PRODUCT'].append(df['PRODUCT'],ignore_index=True)

这似乎工作正常，我现在必须将catid和marketid插入到finalDf的相应列中。因为catid和marketid在当前的csv文件中是有用的，我只需要添加它们与df数据帧中的行一样多的时间，这就是我在下面的代码中尝试完成的。

finalDf = pd.DataFrame(columns=['PRODUCT', 'CAT_ID', 'MARKET_ID'])
finalDf['PRODUCT'] = finalDf.PRODUCT.astype('category')

df = pd.read_csv(filename, header=None,
                             names=['PRODUCT', 'URL_PRODUCT', 'RANK', 'URL_IMAGE', 'STARS', 'PRICE', 'NAME', 'SNAPDATE',
                                    'CATEGORY', 'MARKETPLACE', 'PARENTCAT', 'LISTTYPE', 'VERSION', 'LEVEL'], sep='\t')

finalDf['PRODUCT'] = finalDf['PRODUCT'].append(df['PRODUCT'],ignore_index=True)
# Here I have a single value to add n times, n corresponding to the number of rows in the dataframe df
catid = 2113
marketid = 13
catids = pd.Series([catid]*len(df.index))
marketids = pd.Series([marketid]*len(df.index))
finalDf['CAT_ID'] = finalDf['CAT_ID'].append(catids, ignore_index=True)
finalDf['MARKET_ID'] = finalDf['MARKET_ID'].append(marketids, ignore_index=True)

print finalDf.head()

        PRODUCT  CAT_ID  MARKET_ID
    0    ABC       NaN    NaN
    1    ABB       NaN    NaN
    2    ABE       NaN    NaN
    3    DCB       NaN    NaN
    4    EFT       NaN    NaN

如您所见，我只有NaN值而不是实际值。预期产出：

        PRODUCT  CAT_ID  MARKET_ID
    0    ABC       2113    13
    1    ABB       2113    13
    2    ABE       2113    13
    3    DCB       2113    13
    4    EFT       2113    13

包含几个csv的finalDF看起来像：

        PRODUCT  CAT_ID  MARKET_ID
    0    ABC       2113    13
    1    ABB       2113    13
    2    ABE       2113    13
    3    DCB       2113    13
    4    EFT       2113    13
    5    SDD       2114    13
    6    ERT       2114    13
    7    GHJ       2114    13
    8    MOD       2114    13
    9    GTR       2114    13
   10    WLY       2114    13
   11    WLO       2115    13
   12    KOP       2115    13

有什么想法吗？

谢谢

Answer 1

你实际上不需要catids和marketids：

finalDf['CAT_ID'] = catid
finalDf['MARKET_ID'] = marketid

会工作。

对于脚本的其余部分，我可能会以这种方式使事情变得更简单：

finalDf = pd.DataFrame()
finalDf['PRODUCT'] = df['PRODUCT'].reset_index()

假设您对代码隐含的df原始索引不感兴趣。

Answer 2

我终于找到了解决方案，不知道为什么另一个不起作用。但这个更简单：

tempDf = pd.DataFrame(columns=['PRODUCT','CAT_ID','MARKET_ID'])
tempDf['PRODUCT'] = df['PRODUCT']
tempDf['CAT_ID'] = catid
tempDf['MARKET_ID'] = 13

finalDf = pd.concat([finalDf,tempDf])

将值添加到pandas中的现有列

2 个答案: