spark数据帧是否像pandas一样有每行的“行名”?

时间:2015-07-27 14:30:58

标签: python pandas apache-spark pyspark apache-spark-sql

我正在尝试使用Spark DataFrames对按行名称索引的两个DataFrame进行操作。在熊猫中,我们可以做到

df.loc(['aIndex', 'anotherIndex'])

通过索引(或行的名称)在df中选择两行。如何在Spark DataFrame中实现这一目标?谢谢。

1 个答案:

答案 0 :(得分:4)

不,Spark中没有行索引。 Spark数据框更像是关系数据库中的表,因此如果要访问特定行,则必须进行过滤:

typedef enum {
  ftdi_8U232AM_48MHz_b300 = 0x2710,
  ftdi_8U232AM_48MHz_b600 = 0x1388,
  ftdi_8U232AM_48MHz_b1200 = 0x09c4,
  ftdi_8U232AM_48MHz_b2400 = 0x04e2,
  ftdi_8U232AM_48MHz_b4800 = 0x0271,
  ftdi_8U232AM_48MHz_b9600 = 0x4138,
  ftdi_8U232AM_48MHz_b19200 = 0x809c,
  ftdi_8U232AM_48MHz_b38400 = 0xc04e,
  ftdi_8U232AM_48MHz_b57600 = 0x0034,
  ftdi_8U232AM_48MHz_b115200 = 0x001a,
  ftdi_8U232AM_48MHz_b230400 = 0x000d,
  ftdi_8U232AM_48MHz_b460800 = 0x4006,
  ftdi_8U232AM_48MHz_b921600 = 0x8003,
} FTDI_8U232AM_48MHz_baudrate_t;