我对here发布的问题提出了跟进问题。在那个问题中,我试图在一个numpy结构化数组中基于多个标准对值进行求和,包括列表中的匹配。 @ali_m为这个问题提供了一个成功的答案:
criteriaList = ("Zone1", "Zone2")
myArray = np.array([(1, 1, 1, u'Zone3', 9.223),
(2, 1, 0, u'Zone2', 17.589),
(3, 1, 1, u'Zone2', 26.95),
(4, 0, 1, u'Zone1', 19.367),
(5, 1, 1, u'Zone1', 4.395)],
dtype=[('ID', '<i4'), ('Flag1', '<i4'), ('Flag2', '<i4'), ('ZoneName', '<U5'),
('Value', '<f8')])
result = myArray[(myArray["Flag1"] == 1) & (myArray["Flag2"] == 1)
& np.in1d(myArray["ZoneName"], criteriaList)]["Value"].sum()
这产生了31.345的期望结果。
现在我想弄清楚如果我在数组中有下划线的分隔值,如何修改这个,如果与critieriaList有部分匹配,我想在我的总和中包含行。在下面的numpy结构化数组中,第三行包括下划线分隔值。在这种情况下,我想包含该值,因为“Zone1”包含在“ZoneName”值的一部分中:
myArray = np.array([(1, 1, 1, u'Zone3', 9.223),
(2, 1, 0, u'Zone2', 17.589),
(3, 1, 1, u'Zone1_Zone3', 26.95),
(4, 0, 1, u'Zone1', 19.367),
(5, 1, 1, u'Zone1', 4.395)],
dtype=[('ID', '<i4'), ('Flag1', '<i4'), ('Flag2', '<i4'), ('ZoneName', '<U10'),
('Value', '<f8')])
我试过拆分数组中的值:
str(myArray["ZoneName"]).split('_')
但是,如果不打开循环并使用if语句,那么无法弄清楚如何处理这些问题。任何帮助都会非常感激。感谢。
以下是使用循环和if语句来处理此方法的示例。这不是书面的功能,但是根据hpualij的评论概述了我的思考过程。 (如果存在“Zone14”,这也会导致问题,因为“Zone1”在“Zone14”中)
values = []
criteriaList = ("Zone1", "Zone2")
for criteria in criteriaList:
zones = myArray["ZoneName"]
for zone in zones:
if criteria in zone:
print ("criteria=" + criteria)
print ("zone=" + zone)
value = myArray[((myArray["Flag1"] == 1) & (myArray["Flag2"] == 1)
& (myArray["ZoneName"] == zone))]["Value"].sum
print(value)
result = sum(values)
答案 0 :(得分:0)
('ZoneName', '<U10')
需要('ZoneName', '<U11')
才能包含最终的'3'。
让我们专注于一个领域;我们可以用一个新变量引用它:
In [321]: names=myArray['ZoneName']
In [322]: names
Out[322]:
array(['Zone3', 'Zone2', 'Zone1_Zone3', 'Zone1', 'Zone1'],
dtype='<U11')
np.char
具有将字符串方法应用于数组元素的函数。我们试试split
:
In [323]: np.char.split(names,'_')
Out[323]: array([['Zone3'], ['Zone2'], ['Zone1', 'Zone3'], ['Zone1'], ['Zone1']], dtype=object)
我觉得这没有帮助。我们仍然在迭代搜索子列表。
In [324]: np.char.find(names,'Zone1')
Out[324]: array([-1, -1, 0, 0, 0])
In [325]: np.char.find(names,'Zone3')
Out[325]: array([ 0, -1, 6, -1, -1])
这看起来更好。我们现在有一个数字数组; '-1'表示没有字符串的元素。
在功能上,这与
相同In [326]: np.array([astr.find('Zone1') for astr in names])
Out[326]: array([-1, -1, 0, 0, 0])
我不确定char.find
有多少时间节省。猜猜我们可以测试一下。 :)
这会让你超越瓶颈吗?
In [328]: %timeit np.array([astr.find('Zone1') for astr in names])
100000 loops, best of 3: 10.2 µs per loop
In [329]: %timeit np.char.find(names,'Zone1')
10000 loops, best of 3: 21.4 µs per loop
np.char.find
实际上更慢!在(5000,)数组上,理解方法仍然更快,但边距不是那么大。
另一个选项是view
该字段为2个或更多字段:
In [352]: nn = names.view([('1st','U5'),('dash','U1'),('2nd','U5')])
In [353]: nn
Out[353]:
array([('Zone3', '', ''), ('Zone2', '', ''), ('Zone1', '_', 'Zone3'),
('Zone1', '', ''), ('Zone1', '', '')],
dtype=[('1st', '<U5'), ('dash', '<U1'), ('2nd', '<U5')])
In [354]: nn['1st']=='Zone1'
Out[354]: array([False, False, True, True, True], dtype=bool)
In [355]: nn['2nd']=='Zone1'
Out[355]: array([False, False, False, False, False], dtype=bool)
In [356]: (nn['1st']=='Zone1')|(nn['2nd']=='Zone3')
Out[356]: array([False, False, True, True, True], dtype=bool)
In [357]: (nn['1st']=='Zone3')|(nn['2nd']=='Zone3')
Out[357]: array([ True, False, True, False, False], dtype=bool)
这利用了一个11
字符串可以被视为3个较短字符串的事实。
它比字符串操作快得多 - 如果你能够确定字符数
In [358]: %%timeit
.....: nn = M.view([('1st','U5'),('dash','U1'),('2nd','U5')])
.....: (nn['1st']=='Zone1')|(nn['2nd']=='Zone1')
.....:
1000 loops, best of 3: 264 µs per loop
功能更强大re.match
- 速度约为find
的1/3。
In [368]: %timeit [re.match('Zone1',astr) is not None for astr in M]
100 loops, best of 3: 14.7 ms per loop
In [369]: %timeit np.array([astr.find('Zone1') for astr in M])>-1
100 loops, best of 3: 5.31 ms per loop
糟糕,我希望re.search
稍后在字符串中匹配。
In [372]: [re.search('Zone3',astr) for astr in names]
Out[372]:
[<_sre.SRE_Match object; span=(0, 5), match='Zone3'>,
None,
<_sre.SRE_Match object; span=(6, 11), match='Zone3'>,
None,
None]
In [376]: %timeit [re.search('Zone1',astr) is not None for astr in M]
100 loops, best of 3: 11.1 ms per loop
优于match
,只有find
的1/2。需要对模式进行细化以区分Zone1_
和Zone14
,但re
可以轻松实现。
答案 1 :(得分:0)
这是我的问题的一个有效的解决方案,但它很慢(实际的数组有> 200,000条记录,并且有超过50个“区域”)它根据多个字段对来自numpy结构化数组的值进行求和,其中“Flag1”字段== 1 AND“Flag2”字段== 1并且“ZoneName”字段中至少有一个匹配条件列表中的名称列表。如果“ZoneName”字段包含来自条件列表的至少一个值(例如“Zone1_Zone3”),它将找到匹配,如果“ZoneName”字段包括来自条件列表的多个值(例如“Zone1_Zone2”),它将不会重复计数),它不会将部分匹配与标准列表匹配(例如“Zone14”)。谢谢@hpaulj的帮助!我欢迎任何进一步评论如何改进这一点,尤其是在处理速度方面。
import numpy as np
import re
def main():
#sum values from the array if "Flag1"==1, "Flag2"==1, and "ZoneName" includes
#either "Zone1" or "Zone2"
myArray = np.array([(1, 1, 1, u'Zone3', 9.223),
(2, 1, 0, u'Zone2', 17.589),
(3, 1, 1, u'Zone1_Zone2', 26.95),
(4, 0, 1, u'Zone2', 19.367),
(5, 1, 1, u'Zone1_Zone3', 4.395),
(5, 1, 1, u'Zone15', 8.565),
(5, 1, 1, u'Zone2', 7.125),
(5, 1, 0, u'Zone1', 6.395)],
dtype=[('ID', '<i4'), ('Flag1', '<i4'), ('Flag2', '<i4'), ('ZoneName', '<U15'),
('Value', '<f8')])
doneList = [] #empty list to track which zones have been calc'd
values = [] #empty list to store values from loop
criteriaList = ("Zone1", "Zone2")
zones = myArray["ZoneName"]
for criteria in criteriaList:
for zone in zones:
#only calc if the "ZoneName" value from the array includes the criteria
#in the current loop and the record has not already been calc'd
if ((find_word(str(np.char.split(zone,'_')), criteria)) & (zone not in doneList)):
#the key element from previous question
value = myArray[((myArray["Flag1"] == 1) & (myArray["Flag2"] == 1))
& np.in1d(myArray["ZoneName"], zone)]["Value"].sum()
values.append(value)
doneList.append(zone) #Needed to that "Zone1_Zone2" is not double counted
result = sum(values)
print result
def find_word(text, search):
result = re.findall('\\b'+search+'\\b', text, flags=re.IGNORECASE)
if len(result)>0:
return True
else:
return False
if __name__ == '__main__':
main()