python 2.7中日志日志的最佳拟合线

时间:2017-05-07 22:00:48

标签: python matplotlib ip linear-regression curve-fitting

这是对数刻度的网络IP频率等级图。完成此部分后,我尝试使用 Python 2.7 在对数日志比例上绘制最佳拟合线。我必须使用matplotlib" symlog"轴刻度否则某些值无法正确显示,某些值会被隐藏。

我正在绘制的数据的X值是URL,Y值是URL的相应​​频率。

我的数据如下:

'http://www.bing.com/search?q=d2l&src=IE-TopResult&FORM=IETR02&conversationid=  123 0.00052210688591'
`http://library.uc.ca/  118 4.57782298326e-05`
`http://www.bing.com/search?q=d2l+uofc&src=IE-TopResult&FORM=IETR02&conversationid= 114 4.30271029472e-06`
`http://www.nature.com/scitable/topicpage/genetics-and-statistical-analysis-34592   109 1.9483268261e-06`

数据包含第一列中的URL,第二列中的相应频率(相同URL存在的次数),最后是第三列中传输的字节。首先,我只使用第1列和第2列进行此分析。共有2,465个x值或唯一网址。

以下是我的代码

import os
import matplotlib.pyplot as plt
import numpy as np
import math
from numpy import *
import scipy
from scipy.interpolate import *
from scipy.stats import linregress
from scipy.optimize import curve_fit

file = open(filename1, 'r')
lines = file.readlines()

result = {}
x=[]
y=[]
for line in lines:
  course,count,size = line.lstrip().rstrip('\n').split('\t')
  if course not in result:
      result[course] = int(count)
  else:
      result[course] += int(count)
file.close()

frequency = sorted(result.items(), key = lambda i: i[1], reverse= True)
x=[]
y=[]
i=0
for element in frequency:
  x.append(element[0])
  y.append(element[1])


z=[]
fig=plt.figure()
ax = fig.add_subplot(111)
z=np.arange(len(x))
print z
logA = [x*np.log(x) if x>=1 else 1 for x in z]
logB = np.log(y)
plt.plot(z, y, color = 'r')
plt.plot(z, np.poly1d(np.polyfit(logA, logB, 1))(z))
ax.set_yscale('symlog')
ax.set_xscale('symlog')
slope, intercept = np.polyfit(logA, logB, 1)
plt.xlabel("Pre_referer")
plt.ylabel("Popularity")
ax.set_title('Pre Referral URL Popularity distribution')
plt.show()

你会看到导入了很多库,因为我一直在玩很多这些库,但我的实验都没有产生预期的结果。所以上面的代码正确生成了排名图。哪条是红线,但曲线中的蓝线(应该是最佳拟合线)在视觉上是不正确的,可以看出。这是生成的图表。

Correct Rank plot but incorrect curve fit

这是我期待的图表。第二张图中的虚线是我在某种程度上错误地绘制的。

Expected graph

关于如何解决这个问题的任何想法?

2 个答案:

答案 0 :(得分:12)

在对数对数刻度上沿直线落下的数据遵循y = c*x^(m)形式的幂关系。通过取两边的对数,可以得到拟合的线性方程:

log(y) = m*log(x) + c

致电np.polyfit(log(x), log(y), 1)会提供mc的值。然后,您可以使用这些值来计算log_y_fit的拟合值:

log_y_fit = m*log(x) + c

并且您要根据原始数据绘制的拟合值为:

y_fit = exp(log_y_fit) = exp(m*log(x) + c)

所以,你遇到的两个问题是:

  1. 您使用原始x坐标计算拟合值,而不是log(x)坐标

  2. 您正在绘制拟合y值的对数,而不将其转换回原始比例

  3. 我在下面的代码中通过将plt.plot(z, np.poly1d(np.polyfit(logA, logB, 1))(z))替换为:

    来解决这两个问题
    m, c = np.polyfit(logA, logB, 1) # fit log(y) = m*log(x) + c
    y_fit = np.exp(m*logA + c) # calculate the fitted values of y 
    plt.plot(z, y_fit, ':')
    

    这可以放在一行:plt.plot(z, np.exp(np.poly1d(np.polyfit(logA, logB, 1))(logA))),但我发现这使得调试变得更加困难。

    以下代码中的其他一些不同之处:

    • 当您从logA计算z以过滤掉任何值时,您正在使用列表解析<但是z是线性范围,只有第一个值是< 1。 1.从1开始创建z似乎更容易,这就是我编码的方式。

    • 我不确定为什么您在x*log(x)的列表理解中有logA这个词。这看起来像是一个错误,所以我没有把它包括在答案中。

    此代码应该可以正常使用:

    fig=plt.figure()
    ax = fig.add_subplot(111)
    
    z=np.arange(1, len(x)+1) #start at 1, to avoid error from log(0)
    
    logA = np.log(z) #no need for list comprehension since all z values >= 1
    logB = np.log(y)
    
    m, c = np.polyfit(logA, logB, 1) # fit log(y) = m*log(x) + c
    y_fit = np.exp(m*logA + c) # calculate the fitted values of y 
    
    plt.plot(z, y, color = 'r')
    plt.plot(z, y_fit, ':')
    
    ax.set_yscale('symlog')
    ax.set_xscale('symlog')
    #slope, intercept = np.polyfit(logA, logB, 1)
    plt.xlabel("Pre_referer")
    plt.ylabel("Popularity")
    ax.set_title('Pre Referral URL Popularity distribution')
    plt.show()
    

    当我在模拟数据上运行它时,我得到以下图表:

    Log-log graph with fitted line

    备注:

答案 1 :(得分:0)

我找到了解决这个问题的另一个解决方案。分享这个因为它可能会有帮助。

fig=plt.figure()
ax = fig.add_subplot(111)
z=np.arange(len(x)) + 1
print z
print y
rank = [np.log10(i) for i in z]
freq = [np.log10(i) for i in y]
m, b, r_value, p_value, std_err = stats.linregress(rank, freq)
print "slope: ", m
print "r-squared: ", r_value**2
print "intercept:", b
plt.plot(rank, freq, 'o',color = 'r')
abline_values = [m * i + b for i in rank]
plt.plot(rank, abline_values)

这基本上也实现了目标。它使用统计模块。