在散点图上绘制隐函数（逻辑回归中的决策边界）

Question

我正在进行逻辑回归，以将数据分为Python中的两个部分。从2个原始特征中衍生出28个特征，这些特征随后被用来在它们之间获得其他6次幂（例如x_0 ^ 1x_1 ^ 5，x_0 ^ 6等）。问题是，与边界为线不同，我找不到如何在散点图的顶部绘制非线性边界。

我的尝试是使用scipy.optimize求解每个x处的边界方程，但是结果非常不令人满意：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import scipy.optimize
from functools import partial

plt.scatter(data['X1'][data['Y'] == 0], data['X2'][data['Y'] == 0], c='r', marker='o')  # data points where Y==0
plt.scatter(data['X1'][data['Y'] == 1], data['X2'][data['Y'] == 1], c='b', marker='+')  # data points where Y==1
def bnd_func(x, y):  # boundary function using the 'th' parameter vector
    return th[0] + th[1]*y + th[2]*y**2 + th[3]*y**3 + th[4]*y**4 + th[5]*y**5 + th[6]*y**6 + th[7]*x + th[8]*x*y + th[9]*x*y**2 + th[10]*x*y**3 + th[11]*x*y**4 + th[12]*x*y**5 + th[13]*x**2 + th[14]*x**2*y + th[15]*x**2*y**2 + th[16]*x**2*y**3 + th[17]*x**2*y**4 + th[18]*x**3 + th[19]*x**3*y + th[20]*x**3*y**2 + th[21]*x**3*y**3 + th[22]*x**4 + th[23]*x**4*y + th[24]*x**4*y**2 + th[25]*x**5 + th[26]*x**5*y + th[27]*x**6
xs = np.linspace(-1, 1.25, 200)
xa = []; ya= [];
for x in xs:
    try:
        y = scipy.optimize.newton(partial(bnd_func, x), 0, maxiter=10000, tol=10**(-5))
    except ValueError:
        pass
    else:
        xa.append(x)
        ya.append(y)
plt.plot(xa, ya)
plt.show()

边界缺少顶部；也许我可以更改初始值，但这确实是一个微不足道的解决方案。我也尝试过使用sympy，但无法在其上面重叠散点图。有什么办法可以做到这一点？我不介意使用其他软件包。

另一个问题是，如果我改用sklearn.linear_model，如何实现？我知道如何检索系数，但是我仍然不确定要用原始散点图绘制边界。

Answer 1

我改用等高线图解决了这个问题：

# Fitting
plt.scatter(data['X1'][data['Y'] == 0], data['X2'][data['Y'] == 0], c='r', marker='o')
plt.scatter(data['X1'][data['Y'] == 1], data['X2'][data['Y'] == 1], c='b', marker='+')
plt.axis('scaled')
def bnd_func(x, y):
    return th[0] + th[1]*y + th[2]*y**2 + th[3]*y**3 + th[4]*y**4 + th[5]*y**5 + th[6]*y**6 + th[7]*x + th[8]*x*y + th[9]*x*y**2 + th[10]*x*y**3 + th[11]*x*y**4 + th[12]*x*y**5 + th[13]*x**2 + th[14]*x**2*y + th[15]*x**2*y**2 + th[16]*x**2*y**3 + th[17]*x**2*y**4 + th[18]*x**3 + th[19]*x**3*y + th[20]*x**3*y**2 + th[21]*x**3*y**3 + th[22]*x**4 + th[23]*x**4*y + th[24]*x**4*y**2 + th[25]*x**5 + th[26]*x**5*y + th[27]*x**6
data_min = data.min().values
data_max = data.max().values
xax = np.arange(data_min[0], data_max[0], 0.05)
yax = np.arange(data_min[1], data_max[1], 0.05)
x_grid, y_grid = np.meshgrid(xax, yax)
zax = bnd_func(x_grid, y_grid)
z_grid = zax.reshape(x_grid.shape)
plt.contour(x_grid, y_grid, z_grid, levels = [0])
plt.show()