while循环加入熊猫数据帧

时间:2018-03-02 16:02:40

标签: python pandas loops join while-loop

再次感谢您提供给我的任何帮助。我有一个数据集,它具有光纤网络上设备的所有值,从中心节点向下滚动到节点的多个放大器,最后到达连接到该节点的所有地址。

问题是节点和地址之间可能有多个放大器。我试图找到每个地址附加到哪个节点。每个设备(地址,放大器,节点)都有ID,DEVICE_TYPE_DESC和UPSTREAM_DEVICE_ID。举个例子:

 ID:1 DEVICE_TYPE_DESC:ADDRESS UPSTREAM_DEVICE_ID: 2
 ID:2 DEVICE_TYPE_DESC:AMP UPSTREAM_DEVICE_ID: 3
 ID:3 DEVICE_TYPE_DESC:AMP UPSTREAM_DEVICE_ID: 4
 .....
 ID:10 DEVICE_TYPE_DESC:NODE UPSTREAM_DEVICE_ID: 9

所以我希望能够加入ID:1到ID:10,但要做到这一点,我需要加入到两者之间的每个放大器。我是python的新手,所以我不确定我尝试做的事情是否可行,但我正在努力创建一个while循环,它将再次迭代地连接到设备表,并且创建一个标志,当连接引入节点时将更改为1,并在node_flag = len(address_table)之和时停止。

我已经编写了第一轮手动加入的代码,并且部分写了我认为while循环的一般外观可能看起来像。我遇到的主要问题是试图弄清楚如何每次重命名右表中的列,然后使用最近附加的' upstream_device_id'用作下一次加入迭代的左键。 ADD_DEV是DEVICE的过滤表,仅包含地址。 NO_ADD是DEVICE中的第二个过滤表,其中包含除地址

之外的所有其他内容
 add_dev.merge(
     no_add[["id","device_type","upstream_device_id"]],
     how="left",
     left_on="upstream_id",
     right_on="id"
 )
 add_dev["left_join"] = add_dev["upstream_device_id"]
 count = len(add_dev.index)
 x=0
 while count > 0:
   x=x+1

   add_dev.merge(
       no_add[["id","device_type","upstream_device_id"]].rename(
           index=str, columns={
               "id":"id_[x]", 
               "device_type":"device_type_[x]",
               "upstream_device_id":"upstream_device_id_[x]"
           }), 
           how="left",
           left_on="left_join",
           right_on="id_[x]"
       )       

 add_dev["node_flag"]=np.where(add_dev["device_type_[x]"]=='node',1,0)
 add_dev["left_join"] = np.where(add_dev["node_flag"] == 1, 0, add_dev[upstream_device_id_[x]])

 count = len(add_dev.index)-add_dev["tap_flag"].sum()

因此,最终的add_dev数据框将具有< x' +1个id,device_type_id和upstream_device_id列。但我知道我不能像上面那样使用[x]重命名列。有什么想法,我怎么能让这个工作?

1 个答案:

答案 0 :(得分:0)

想出来。希望这能帮助那些遇到类似问题的人。

add_dev = device[device["device_type"]=="address"]

add_dev["join_left"]=add_dev["upstream_device_id"]

count = add_dev.shape[0]
x=0

while count>0:
  x+=1
  add_dev = add_dev.merge(
       no_add[["id","device_type","upstream_device_id"]].rename(
           index=str, columns={
               "id":"id_"+str(x), 
               "device_type":"device_type_"+str(x),
               "upstream_device_id":"upstream_device_id_"+str(x)
           }), 
     how="left",
     left_on="join_left",
     right_on="id_"+str(x)
  )

  add_dev["node_flag"]=np.where(add_dev["device_type_"+str(x)]=='node',1,0)
  add_dev["join_left"] = np.where(add_dev["node_flag"] == 1, -999, add_dev["upstream_device_id_"+str(x)])
  count = add_dev.shape[0]-add_dev["node_flag"].sum()