Question

我正在使用python客户端访问在Google BigQuery中存储为arrays的某些向量：

df = client.query(sql).to_dataframe()

结果dataframe有一个单列，如下所示：

    page_vector
0   [0.11585406959056854, 0.4495273232460022, -0.0...
1   [0.3589635491371155, 0.529633104801178, 0.3646...
2   [0.05760370194911957, 0.10355205088853836, 0.7...
3   [0.12493933737277985, 0.7082784175872803, 0.26...
4   [-0.660869300365448, -0.5055545568466187, -0.2...

现在，我想对这些向量值进行各种计算，例如平均值，余弦相似度等的计算。

我的问题是值存储为列表数组（我相信），但是我无法将它们转换为常规的numpy数组。

df.values

array([[list([0.11585406959056854, 0.4495273232460022, -0.06741087883710861, 0.009115549735724926, 0.03358231857419014, 0.3813880980014801, 0.5367750525474548, 0.1125958263874054, -0.04873140528798103, -0.15494178235530853])],
       [list([0.3589635491371155, 0.529633104801178, 0.3646768629550934, -0.5236702561378479, -0.20803043246269226, -0.40205657482147217, 0.9097139835357666, 0.3311547636985779, -0.10366004705429077, -0.31620144844055176])],
       [list([0.05760370194911957, 0.10355205088853836, 0.7606179118156433, -0.40389031171798706, -0.4287498891353607, -0.5946164727210999, 1.470175862312317, 0.12346278876066208, -0.13954032957553864, -0.4611101448535919])],
       [list([0.12493933737277985, 0.7082784175872803, 0.26176416873931885, 0.04834984615445137, -0.1890079379081726, -0.2270711362361908, 0.8319875597953796, 0.39853358268737793, -0.11916585266590118, -0.5312120318412781])],
       [list([-0.660869300365448, -0.5055545568466187, -0.260611891746521, 0.6198488473892212, 0.07465806603431702, 0.6059150099754333, -0.548044741153717, 0.38490045070648193, -0.49995312094688416, 0.1975364089012146])]],
      dtype=object)

我应该如何将BigQuery的结果处理为可以用于各种计算的内容？

我尝试了许多方法，例如： df.apply(lambda x: np.asarray(x, dtype=float))

Answer 1

检查您的df info或dtypes。该列是object dtype。

df.values生成二维数组，在这种情况下为（n，1）形状，逐列。

df.values[:,0]应该是一个（n，）形状数组。您也可以在使用values之前选择该列。 Series.values产生一维数组（静止对象dtype）。

np.stack(df.values[:,0])应该产生一个二维数组，条件是列表的大小都相同。这会逐行连接列表。

并与tolist方法进行比较。查看结果列表列表。

查看pandas文档，您会发现虽然Series具有tolist方法，但DataFrame没有。

In [60]: df1                                                                    
Out[60]: 
           1
0  [1, 2, 3]
1  [2, 3, 4]
2  [3, 4, 5]

In [62]: df1.values                                                             
Out[62]: 
array([[list([1, 2, 3])],
       [list([2, 3, 4])],
       [list([3, 4, 5])]], dtype=object)

In [63]: df1.values.shape                                                       
Out[63]: (3, 1)

In [64]: df1.values[:,0]                                                        
Out[64]: array([list([1, 2, 3]), list([2, 3, 4]), list([3, 4, 5])], dtype=object)
In [65]: np.stack(df1.values[:,0])                                              
Out[65]: 
array([[1, 2, 3],
       [2, 3, 4],
       [3, 4, 5]])

tolist不适用于数据框，仅适用于系列：

In [69]: df1.tolist()                                                           
AttributeError: 'DataFrame' object has no attribute 'tolist'

In [70]: df1[1].tolist()                                                        
Out[70]: [[1, 2, 3], [2, 3, 4], [3, 4, 5]]

values来自Series：

In [72]: df1[1].values                                                          
Out[72]: array([list([1, 2, 3]), list([2, 3, 4]), list([3, 4, 5])], dtype=object)

Answer 2

我们可以先转换为list，然后将其转换为numpy数组

np.array(df.page_vector.tolist())

将列表从数据框转换为numpy数组

2 个答案: