将日期时间列表与日期时间字典

Question

我有一项任务是根据具体条件创建日期集，例如“大于2”将被传递，我需要在本月创建一组日期＆gt; 2.也可以获得例如开始时间和停止时间。在这种情况下，上午10点至下午6点我将创建一组所有日期＆gt; 2并且每天都有时间从上午10点开始到结束时间和下午6点，下面是一个例子：

greater > 2 less < 9 
start time :10am
stop time :6 pm
month:july
date1: 2016-07-03 10:00, 2016-07-03 16:00
date2: 2016-07-04 10:00, 2016-07-04 16:00
date3: 2016-07-05 10:00, 2016-07-05 16:00
.
.
.
date6: 2016-07-8 10:00, 2016-07-8 16:00

我决定将这些日期存储到如下字典中：

dictD = {'dates_between_2_9':[[2016-07-03 10:00, 2016-07-03 16:00], [2016-07-04 10:00, 2016-07-04 16:00], ....., [2016-07-08 10:00, 2016-07-08 16:00]]} 

我使用了dict，因为我将需要为他们创建日期集合的多个条件，因此将有例如除dates_between_2_5之外的其他键。

另一方面，我根据条件得到另一个请求，以创建开始时间的日期，如下所示：

greater > 1 less than 12
start time : 2pm
    date1: 2016-07-02 14:00
    date2: 2016-07-03 14:00
    date3: 2016-07-04 14:00
    .
    .
    .
    date10: 2016-07-11 14:00

我决定将这些日期存储在一个列表中：

listL = [2016-07-02 14:00,2016-07-03 14:00,2016-07-04 14:00 ... 2016-07-11 14:00]

之后我将ListL中的每个日期与DictD中每个键的日期列表进行比较，如果ListL中的日期位于开始，停止时间，那么我应该从列表中删除它并仅返回ListL中的日期不要与DictD的日期重叠，我的逻辑如下：

for L from ListL:
    for every key in DictD:
        for item from DictD[key]:
            if DictD[key][0] < L < DictD[key][1] # check if item from list overlap with start,stop time from dictionary.
                ListL.remove(L) # I know I can't remove items from list while iterating so I will probably create a set and store all overlapped items and then subtract this set to set(ListL) to get the difference. 
return ListL

我的问题是，我使用高效的数据结构来处理我的要求吗？我看到我的逻辑效率不高，所以我想知道是否有更好的方法来解决这个问题？

任何帮助将不胜感激。 提前谢谢！

Answer 1

听起来您正在尝试优化算法。说实话，对于这么大的数据，它可能没有必要。但是，如果您感兴趣，一般的经验法则是在检查成员资格时Python中的sets are faster than lists。

在这种情况下，您的设置可能不清楚。我假设你最多只有一个分钟级别的粒度，但是你可以通过更大的粒度来降低（更多内存）或确实提高占用率和性能 - 例如小时。此代码显示甚至相对较大的集合可以至少快5倍（并且在比较数据集时看起来更简单）：

from copy import copy
from datetime import datetime, timedelta
from timeit import timeit
import time

def make_range(start, open, close, days):
    result = []
    base_start = start + open
    base_close = start + close
    while days > 0:
        result.append([base_start, base_close])
        base_start += timedelta(days=1)
        base_close += timedelta(days=1)
        days -= 1
    return result

def make_range2(start, open, close, days):
    result = set()
    base_start = start + open
    base_close = start + close
    while days > 0:
        now = base_start
        while now <= base_close:
            result.add(now)
            now += timedelta(minutes=1)
        base_start += timedelta(days=1)
        base_close += timedelta(days=1)
        days -= 1
    return result

dateRange = {
    'range1': make_range(datetime(2016, 7, 3, 0, 0),
                         timedelta(hours=10),
                         timedelta(hours=18),
                         6),
}

dateRange2 = {
    'range1': make_range2(datetime(2016, 7, 3, 0, 0),
                          timedelta(hours=10),
                          timedelta(hours=18),
                          6),
}

dateList = [
    datetime(2016, 7, 2, 14, 0),
    datetime(2016, 7, 3, 14, 0),
    datetime(2016, 7, 4, 14, 0),
    datetime(2016, 7, 5, 14, 0),
    datetime(2016, 7, 6, 14, 0),
    datetime(2016, 7, 7, 14, 0),
    datetime(2016, 7, 8, 14, 0),
    datetime(2016, 7, 9, 14, 0),
    datetime(2016, 7, 10, 14, 0),
    datetime(2016, 7, 11, 14, 0)
]

dateSet = set(dateList)

def f1():
    result = copy(dateList)
    for a in dateList:
        for b in dateRange:
            for i in dateRange[b]:
                if i[0] <= a <= i[1]:
                    result.remove(a)
    return result

def f2():
    result = copy(dateSet)
    for b in dateRange2:
        result = result.difference(dateRange2[b])
    return result

print(f1())
print(timeit("f1()", "from __main__ import f1", number=100000))

print(f2())
print(timeit("f2()", "from __main__ import f2", number=100000))

记录结果如下：

[datetime.datetime(2016, 7, 2, 14, 0), datetime.datetime(2016, 7, 9, 14, 0), datetime.datetime(2016, 7, 10, 14, 0), datetime.datetime(2016, 7, 11, 14, 0)]
1.922587754837455

{datetime.datetime(2016, 7, 2, 14, 0), datetime.datetime(2016, 7, 9, 14, 0), datetime.datetime(2016, 7, 10, 14, 0), datetime.datetime(2016, 7, 11, 14, 0)}
0.30558400587733225

您还可以将dict dateRange转换为列表，但只有1或2个成员，这不太可能对性能产生任何实际影响。但是，它更具逻辑意义，因为您实际上并没有使用dict来查找任何特定的键值 - 您只是遍历所有值。

Answer 2

坦率地说，我不确定我是否明白你的问题是什么，我试过这样的事情：

for date in dateList:
    for everyrange in dateRange:
        find=False
        for i in dateRange[everyrange]:
            #print('date={date} ,key={everyrange},i={i}'.format(date=date, everyrange=everyrange,i=i))
            if i[0] <= date <= i[1]:
                print(date)
                find=True
                break
            else:
                print(0)
        if find:
            break

Answer 3

我不确定我是否完全理解您的问题，但我假设您要查找＆＃39; dateList＆＃39;的日期。位于＆＃39; dateRange＆＃39;中的特定范围之间的列表DIC。

我尝试根据你的逻辑构建我的代码。这应该有效：

for date in dateList: 
    for key,value in dateRange.items():
        for i in range(0,len(value)):
            if date>=value[i][0] and date<=value[i][1]:
                print('The date:',date,'lies between the data points:',value[i][0],'and',value[i][1],'in',key)

在您的数据中，dateRange dic包含键（＆＃39;范围＆＃39;）和值，它们是2个日期时间对象的列表。 使用我提供的代码，dateRange可以拥有任意数量的密钥，每个密钥的值可以包含任意数量的datetime对象列表。

Answer 4

我试过这个例子，根据你的需求而且效果很好=）。该算法与您发布的算法非常相似，唯一的区别在于算法的最后。我选择创建一个新列表，在你正在构建的函数中返回。

以下是代码：

list_1 = ['a 1', 'a 2', 'a 3', 'a 4', 'a 5', 'b 1', 'b 2', 'b 3', 'b 4', 'b 5', 'c 1', 'c 2', 'c 3', 'c 4', 'c 5']
dict = {'example_between_2_5': [['a 3', 'a 4'], ['b 3', 'b 4'], ['c 3', 'c 4']]}
new_list = []


# Defining the number of repetitions based on how many 'lists' inside the dict you have.
for x in range(0, len(dict['example_between_2_5'])):
    dict_list_elements = dict['example_between_2_5'][x]
    # Defining the number of repetitions based on the elements inside the list of the dict.
    for y in range(0, len(dict_list_elements)):
        #Picking the element
        dict_list_element = dict_list_elements[y]
        for z in range(0, len(list_1)):
            #Comparing to all elements in list_1
            if dict_list_element == list_1[z]:
                #The element will be append if doesn't exist in the new list
                if list_1[z] not in new_list:
                    new_list.append(list_1[z])

#Printing the result just to check if it worked.
print("list_1: ", list_1) 
print("New_list: ", new_list)

希望有帮助=）

Answer 5

我仍然不能确定你想要实现的目标，但是请看一下这段代码并告诉我这是否是你想要的。

还可以选择输入月份。

名为list1的列表相当于您的字典dictD。

名为list2的列表等同于列表listL。这只有那些与list1（dictD）中的日期不重叠的日期。

这是代码。

from datetime import datetime

#Converts 12-hour(am/pm) to 24-hour format
def get_time(time):
    digit = int(time[0:-2])
    if time[-2:] == 'am':
        return digit

    else:
        return digit+12


month_number = {
    'january':1, 'february':2, 'march':3, 'april':4, 'may':5, 'june':6,
    'july':7, 'august':8, 'september':9, 'october':10, 'november':11, 'december':12
}

gt1 = input('Enter first set\ngreater > ')
lt1 = input('less < ')

start1 = raw_input('start time: ')
stop1 = raw_input('stop time: ')

month1 = raw_input('month: ')


gt2 = input('\nEnter second set\ngreater > ')
lt2 = input('less < ')

start2 = raw_input('start time: ')

month2 = raw_input('month: ')

list1 = []
list2 = []

today = datetime.today()

start1 = get_time(start1)
stop1 = get_time(stop1)
start2 = get_time(start2)

key = 'dates_between_%s_%s'%(gt1, gt2)

for i in range(gt1+1, lt1):
    list1.append(
            [
            datetime(today.year, month_number[month1], i, start1, 0).strftime("%Y-%m-%d %H:%M"),
            datetime(today.year, month_number[month1], i, stop1, 0).strftime("%Y-%m-%d %H:%M")
            ]
        )

for i in range(gt2+1, lt2):
    if (month1 == month2) and (gt1 < i < lt1) and (start1 < start2 < stop1):
        pass
    else:
        list2.append(datetime(today.year, month_number[month2], i, start2, 0).strftime("%Y-%m-%d %H:%M"))

print 'List1:\n',list1
print '\nList2:\n',list2