我想用MXNet训练CV网络,我创建了一个自定义的Dataset类(效果很好),但是现在我希望该类返回图像文件的名称(字符串)。
问题是MXNet拒绝批处理字符串。
因此,我尝试从字符串创建NDArray,但NDArray不会将字符串作为dtype。我该怎么办?
>>> import numpy as np
>>> import mxnet.ndarray as nd
>>> nd.array(["blabla"])
ValueError: could not convert string to float: blabla
答案 0 :(得分:0)
@Manon Rmn,解决方案是具有自定义的Batchify函数。
import mxnet as mx
import numpy as np
from gluonnlp.data.batchify import Tuple, Stack
class MyDataset(mx.gluon.data.Dataset):
def __init__(self, size=10):
self.size = size
self.data = [np.array((1,2,3,4))]*size
self.data_text = ["this is a test"]*size
def __getitem__(self, idx):
return self.data[idx], self.data_text[idx]
def __len__(self):
return self.size
dataset = MyDataset()
print(dataset[0])
class List:
def __call__(self, x):
return x
data = mx.gluon.data.DataLoader(dataset, batchify_fn=Tuple(Stack(), List()), batch_size=2)
for matrix, text in data:
break
print(matrix)
print(text)
(array([1, 2, 3, 4]), 'this is a test')
[[1 2 3 4]
[1 2 3 4]]
<NDArray 2x4 @cpu_shared(0)>
['this is a test', 'this is a test']
我已经发布了PR,以使其进入GluonNLP https://github.com/dmlc/gluon-nlp/pull/812