Question

我有一个从zillow中提取许多变量的函数。我使用了一个lambda函数将返回的值附加到数据框。我想知道是否有更快的方法来返回所有变量并将其附加到数据框而不是单独添加。

这是我的代码：

from xml.dom.minidom import parse,parseString
import xml.dom.minidom
import requests
import sys
import pandas as pd
import numpy as np

l_zwsid='' 

df = pd.read_csv('data.csv')

def getElementValue(p_dom,p_element):
    if len(p_dom.getElementsByTagName(p_element)) > 0:
       l_value=p_dom.getElementsByTagName(p_element)[0]
       return(l_value.firstChild.data)
    else:
       l_value='NaN'
       return(l_value)

def getData(l_zwsid, a_addr, a_zip):
    try:
        l_url='http://www.zillow.com/webservice/GetDeepSearchResults.htm?zws-id='+l_zwsid+'&address='+a_addr+'&citystatezip='+a_zip
        xml=requests.get(l_url)
        dom=parseString(xml.text)

        responses=dom.getElementsByTagName('response')

        zpid=getElementValue(dom,'zpid')
        usecode=getElementValue(dom,'useCode')
        taxyear=getElementValue(dom,'taxAssessmentYear')
        tax=getElementValue(dom,'taxAssessment')
        yearbuilt=getElementValue(dom,'yearBuilt')
        sqft=getElementValue(dom,'finishedSqFt')
        lotsize=getElementValue(dom,'lotSizeSqFt')
        bathrooms=getElementValue(dom,'bathrooms')
        bedrooms=getElementValue(dom,'bedrooms')
        totalrooms=getElementValue(dom,'totalRooms')
        lastSale=getElementValue(dom,'lastSoldDate')
        lastPrice=getElementValue(dom,'lastSoldPrice')
        latitude=getElementValue(dom, 'latitude')
        longitude=getElementValue(dom, 'longitude')

        for response in responses:
            addresses=response.getElementsByTagName('address')
            for addr in addresses:
                street=getElementValue(addr,'street')
                zipcode=getElementValue(addr,'zipcode')

            zestimates=response.getElementsByTagName('zestimate')
            for zest in zestimates:
                amt=getElementValue(zest,'amount')
                lastupdate=getElementValue(zest,'last-updated')
                valranges=zest.getElementsByTagName('valuationRange')
                for val in valranges:
                    low=getElementValue(val,'low')
                    high=getElementValue(val,'high')
        return longitude, latitude
    except AttributeError:
        return None

df['Longtitude'] = df.apply(lambda row: getData(l_zwsid, row['Street'], row['Zip']), axis = 1)
df['Latitude'] = df.apply(lambda row: getData(l_zwsid, row['Street'], row['Zip']), axis = 1)

当前不起作用，因为新列将同时包含经度和纬度。

Answer 1

您的getData函数返回一个元组，这就是为什么两列都包含lat和lon的原因。一种解决方法是按如下所示对该函数进行参数设置：

def getData(l_zwsid, a_addr, a_zip, axis='lat'):
    valid = ['lat', 'lon']
    if axis not in valid:
        raise ValueError(f'axis must be one of {valid}')
    ...
    if axis == 'lat':
        return latitude
    else:
        return longitude

这~~不会提高效率~~，但是会使其变慢。您的主要开销来自对DataFrame中的每一行进行API调用，因此您会受到网络性能的限制。

Answer 2

您可以使您的getData函数返回一个字符串，其中包含所有元素的逗号分隔值
将此csv字符串附加为数据帧ALL_TEXT中的df列

将列ALL_TEXT分成多个列（纬度，长，邮政编码，街道等）

def split_into_columns(text):

    required_columns = ['Latitude', 'Longtitude', 'Zipcode']
    columns_value_list = text['ALL_TEXT'].split(',')
    for i in range(len(required_columns)):
    text[required_columns[i]] = columns_value_list[i]

    return text

df= pd.DataFrame([ ['11.49, 12.56, 9823A'], ['14.02, 15.29, 9674B'] ], columns=['ALL_TEXT'])  

updated_df = df.apply(split_into_columns, axis=1)

df

    ALL_TEXT
0   11.49, 12.56, 9823A
1   14.02, 15.29, 9674B

updated_df

   ALL_TEXT              Latitude  Longtitude Zipcode
0   11.49, 12.56, 9823A  11.49     12.56       9823A
1   14.02, 15.29, 9674B  14.02     15.29       9674B

将多个元素附加到数据框

2 个答案: