Question

假设使用csv_read将五个文件导入DASK。为此，我使用以下代码：

import dask.dataframe as dd
data = dd.read_csv(final_file_list_msg, header = None)

每个文件都有十列。我想在文件1的第一列中添加1，在文件2的第一列中添加2，在文件3的第一列中添加3，依此类推。

Answer 1

假设您遵循此方案有几个文件：

dummy/
├── file01.csv
├── file02.csv
├── file03.csv

首先，我们通过创建它们

import os
import pandas as pd
import numpy as np
import dask.dataframe as dd
from dask import delayed

fldr = "dummy"

if not os.path.exists(fldr):
    os.mkdir(fldr)

for i in range(10):
    df = pd.DataFrame(np.random.rand(5,3))
    df.to_csv("{}/file{:02}.csv".format(fldr,i+1),
              index=False)

创建的文件列表为fns = sorted(os.listdir(fldr))

然后我们编写一个给定路径fn的函数：

读取文件
在fileXX.csv中取数字XX
在第一列中插入int(XX)

那是

def addCol(fn):
    df = pd.read_csv(os.path.join(fldr, fn))
    first = int(fn.split(".")[0][-2:])
    df.insert(0, "first", first)
    return df

我们希望这个有趣的事情是delayed，我们可以使用装饰器@delayed或用delayed包装该函数来实现。因此，为了获得所需的输出，我们应该（相应地）触发

ddf = dd.from_delayed([addCol(fn) for fn in fns])
ddf = dd.from_delayed([delayed(addCol)(fn) for fn in fns])

向使用csv_read导入的DASK数据帧的列添加值

1 个答案: