将字符串拆分为大量列

Question

我有一个dask系列X，里面充满了包含很多文本的字符串，我想将其拆分为几列。这就是我正在做的：

cols = 2867847
W = X.str.split(n=cols, expand=True) #X has 3320 lines and npartitions=1000

我不能简单地增加分区数来说明列大小，因为dask是按行对DataFrame进行分区的。可以在列上进行分区吗？

Answer 1

使用具有数千列的Pandas样式数据框很奇怪。也许还有其他一些API更适合您的情况？也许dask.delayed或dask.bag或xarray？