如何为给定的概率分布生成直方图(用于功能测试服务器)?

时间:2008-09-10 11:16:30

标签: python statistics simulation stress-testing

我正在尝试使用实际频率分布的请求自动执行服务器的功能测试。 (一种负载测试,一种模拟)

我选择Weibull分布,因为它“匹配”与我观察到的分布相匹配(快速上升,快速下降但不是立即下降)

我使用此分布来生成应在给定开始日期和结束日期之间每天发送的请求数

我已经将Python中的一种算法混合在一起,但它感觉很糟糕:

how_many_days = (end_date - start_date).days
freqs = defaultdict(int)
for x in xrange(how_many_responses):
    freqs[int(how_many_days * weibullvariate(0.5, 2))] += 1
timeline = []
day = start_date
for i,freq in sorted(freqs.iteritems()):
    timeline.append((day, freq))
    day += timedelta(days=1)
return timeline

有什么更好的方法可以做到这一点?

6 个答案:

答案 0 :(得分:1)

为什么不尝试The Grinder 3加载测试你的服务器,它带有所有这些和更多的预构建,它支持python作为脚本语言

答案 1 :(得分:1)

稍微长一点,但可能更容易阅读后四行的返工:

samples = [0 for i in xrange(how_many_days + 1)]
for s in xrange(how_many_responses):
    samples[min(int(how_many_days * weibullvariate(0.5, 2)), how_many_days)] += 1
histogram = zip(timeline, samples)
print '\n'.join((d.strftime('%Y-%m-%d ') + "*" * c) for d,c in histogram)

这样可以使样本在日期范围内丢失,但是在[0,1]范围之上的所有样本的时间线末尾会出现相应的凹凸。

答案 2 :(得分:1)

这很快,可能不那么准确,但如果你自己计算PDF,那么至少你可以更容易在一个时间轴上放置几个较小/较大的。 dev是高斯噪声中的标准偏差,它控制粗糙度。请注意,这是生成您想要的“正确”方式,但这很容易。

import math
from datetime import datetime, timedelta, date
from random import gauss

how_many_responses = 1000
start_date = date(2008, 5, 1)
end_date = date(2008, 6, 1)
num_days = (end_date - start_date).days + 1
timeline = [start_date + timedelta(i) for i in xrange(num_days)]

def weibull(x, k, l):
    return (k / l) * (x / l)**(k-1) * math.e**(-(x/l)**k)

dev = 0.1
samples = [i * 1.25/(num_days-1) for i in range(num_days)]
probs = [weibull(i, 2, 0.5) for i in samples]
noise = [gauss(0, dev) for i in samples]
simdata = [max(0., e + n) for (e, n) in zip(probs, noise)]
events = [int(p * (how_many_responses / sum(probs))) for p in simdata]

histogram = zip(timeline, events)

print '\n'.join((d.strftime('%Y-%m-%d ') + "*" * c) for d,c in histogram)

答案 3 :(得分:0)

为什么不使用比例因子而不是将请求数量作为固定值?目前,您将请求视为有限数量,并随机化这些请求的日期。将您的每日请求视为独立的似乎更合理。

from datetime import *
from random import *

timeline = []
scaling = 10
start_date = date(2008, 5, 1)
end_date = date(2008, 6, 1)

num_days = (end_date - start_date).days + 1
days = [start_date + timedelta(i) for i in range(num_days)]
requests = [int(scaling * weibullvariate(0.5, 2)) for i in range(num_days)]
timeline = zip(days, requests)
timeline

答案 4 :(得分:0)

我重写了上面的代码更短(但现在可能它太混淆了?)

timeline = (start_date + timedelta(days=days) for days in count(0))
how_many_days = (end_date - start_date).days
pick_a_day = lambda _:int(how_many_days * weibullvariate(0.5, 2))
days = sorted(imap(pick_a_day, xrange(how_many_responses)))
histogram = zip(timeline, (len(list(responses)) for day, responses in groupby(days)))
print '\n'.join((d.strftime('%Y-%m-%d ') + "*" * c) for d,c in histogram)

答案 5 :(得分:0)

另一个解决方案是使用Rpy,它将R的所有功能(包括许多用于发行版的工具)轻松地放入Python中。