使用scikit-learn的Web应用程序

时间:2012-07-22 12:55:59

标签: python web-applications scikit-learn

我在本地培训了一个sklearn分类器,我必须创建一个简单的Web应用程序来演示它的用法。我是Web应用程序开发的完整菜鸟,我不想浪费时间使用不支持我正在使用的模块的框架创建Web应用程序。

  1. 你认为这个任务的好方法是什么?
  2. 我应该使用哪种Web应用程序开发框架(如果有的话)?
  3. 我是否需要深入研究Heokudjango等问题,或者是否有更简单快捷的解决方案来进行简单的科学演示?
  4. 我的想法是采取我训练的分类器,腌制它并在服务器上取消它,然后从服务器运行classify,但我不知道从哪里开始。

6 个答案:

答案 0 :(得分:11)

如果这只是一个演示,请离线训练你的分类器,挑选模型,然后使用一个简单的python web框架,如flaskbottle,在服务器启动时取消模型并调用HTTP请求处理程序中的预测函数。

django是一个功能完整的框架,因此比烧瓶或瓶子学习的时间更长,但它有很好的文档和更大的社区。

heroku是一种在云端托管您的应用程序的服务。可以host flask applications on heroku,这里有simple template project + instructions

对于“生产”设置,我建议你不要使用pickle,而是为机器学习模型编写自己的持久层,以便完全控制商店的参数,并且对于可能破坏了库存升级的库升级更加健壮解开旧模型。

答案 1 :(得分:2)

虽然这不是分类器,但我使用瓶子框架和scikit-learn实现了一个简单的机器学习Web服务。给定.csv格式的数据集,它返回关于主成分分析和线性判别分析技术的2D可视化。

可在以下网址找到更多信息和示例数据文件:http://mindwriting.org/blog/?p=153

这是实施: upload.html:

<form
 action="/plot" method="post"
 enctype="multipart/form-data"
>
Select a file: <input type="file" name="upload" />
<input type="submit" value="PCA & LDA" />
</form>

pca_lda_viz.py(修改主机名和端口号):

import matplotlib
matplotlib.use('Agg')

import matplotlib.pyplot as plt
import numpy as np
from cStringIO import StringIO

from bottle import route, run, request, static_file
import csv
from matplotlib.font_manager import FontProperties
import colorsys

from sklearn import datasets
from sklearn.decomposition import PCA
from sklearn.lda import LDA

html = '''
<html>
    <body>
        <img src="data:image/png;base64,{}" />
    </body>
</html>
'''

 @route('/')
 def root():
     return static_file('upload.html', root='.')

 @route('/plot', method='POST')
    def plot():

       # Get the data
       upload = request.files.get('upload')
       mydata = list(csv.reader(upload.file, delimiter=','))

       x = [row[0:-1] for row in mydata[1:len(mydata)]]

       classes =  [row[len(row)-1] for row in mydata[1:len(mydata)]]
       labels = list(set(classes))
       labels.sort()

       classIndices = np.array([labels.index(myclass) for myclass in classes])

       X = np.array(x).astype('float')
       y = classIndices
       target_names = labels

       #Apply dimensionality reduction
       pca = PCA(n_components=2)
       X_r = pca.fit(X).transform(X)

       lda = LDA(n_components=2)
       X_r2 = lda.fit(X, y).transform(X)

        #Create 2D visualizations
       fig = plt.figure()
       ax=fig.add_subplot(1, 2, 1)
       bx=fig.add_subplot(1, 2, 2)

       fontP = FontProperties()
       fontP.set_size('small')

       colors = np.random.rand(len(labels),3)

       for  c,i, target_name in zip(colors,range(len(labels)), target_names):
           ax.scatter(X_r[y == i, 0], X_r[y == i, 1], c=c, 
                      label=target_name,cmap=plt.cm.coolwarm)
           ax.legend(loc='upper center', bbox_to_anchor=(1.05, -0.05),
                     fancybox=True,shadow=True, ncol=len(labels),prop=fontP)
           ax.set_title('PCA')
           ax.tick_params(axis='both', which='major', labelsize=6)

       for c,i, target_name in zip(colors,range(len(labels)), target_names):
           bx.scatter(X_r2[y == i, 0], X_r2[y == i, 1], c=c, 
                      label=target_name,cmap=plt.cm.coolwarm)
           bx.set_title('LDA');
           bx.tick_params(axis='both', which='major', labelsize=6)

       # Encode image to png in base64
       io = StringIO()
       fig.savefig(io, format='png')
       data = io.getvalue().encode('base64')

       return html.format(data)

run(host='mindwriting.org', port=8079, debug=True)

答案 2 :(得分:2)

您可以按照以下教程在Azure ML中部署scikit-learn模型,并自动生成Web服务:

Build and Deploy a Predictive Web App Using Python and Azure ML

yHat + Heroku的组合也可以做到这一点

答案 3 :(得分:2)

您可以将Plotly Dash用于演示甚至是范围有限的应用。

https://dash-gallery.plotly.host/Portal/中包含代码源的一些示例。您有使用sklearn的机器学习示例。

https://dash.plotly.com/deployment进行部署,主要用于Heroku。

答案 4 :(得分:2)

如果您沿着烧瓶的路线走,我强烈建议您观看Youtube上的Corey Shafer系列。这是一个可靠的系列文章,可帮助您快速入门,并且在评论部分有许多其他观众的有用注释。

此外,由于我假设您将在其他地方构建模型并希望在您的站点上对它们进行评分,因此您可能会希望在开发后使用pickle来存储模型对象,然后在容器中使用pickle加载模型对象config.py

答案 5 :(得分:1)

我正在处理包含predictpredictproba方法的Docker镜像,并将它们公开为web api:https://github.com/hexacta/docker-sklearn-predict-http-api

您需要保存模型:

from sklearn.externals import joblib
joblib.dump(clf, 'iris-svc.pkl')

创建一个Dockerfile:

FROM hexacta/sklearn-predict-http-api:latest
COPY iris-svc.pkl /usr/src/app/model.pkl

并运行容器:

$ docker build -t iris-svc .
$ docker run -d -p 4000:8080 iris-svc

然后你可以发出请求:

$ curl -H "Content-Type: application/json" -X POST -d '{"sepal length (cm)":4.4}' http://localhost:4000/predictproba
  [{"0":0.8284069169,"1":0.1077571623,"2":0.0638359208}]
$ curl -H "Content-Type: application/json" -X POST -d '[{"sepal length (cm)":4.4}, {"sepal length (cm)":15}]' http://localhost:4000/predict
  [0, 2]