快乐学习
前程无忧、中华英才非你莫属!

Python人工智能-scikit-learn-04(线性模型)

前言

用通俗易懂的语言描述一些教科书的理论知识,确实是个力气活。

以下内容只需要有初中数学方程的知识即可。

以下各种符号,各种理论,你可以不必记住,但是必须要知道什么样的数据,调用sklearn 中的哪些函数.

 
1、最小二乘法 本质是求解多个测量值的最小误差, 利用的是求导的方法

上栗子:

小明是跑运输的,跑1公里需要6块,跑2公里需要5块(那段时间刚好油价跌了),跑3公里需要7块,跑4公里需要10块,请问跑5公里需要多少块?如果我们有初中数学基础,应该会自然而然地想到用线性方程组来做,对吧。

这里假定x是公里数,y是运输成本(β1和β2是要求的系数)。我们把上面的一组数据代入得到这么几个方程:

如果存在这样的β1和β2,让所有的数据(x,y)=(1,6),(2,5),(3,7),(4,10)都能满足的话,那么解答就很简单了,β1+5β2就是5公里的成本,对吧。
但遗憾的是,这样的β1和β2是不存在的,上面的方程组很容易,你可以把前面两个解出来得到一组β1和β2,后面两个也解出来同样得到一组β1和β2。这两组β1和β2是不一样的。
形象地说,就是你找不到一条直线,穿过所有的点,因为他们不在一条直线上。如下图:

可是现实生活中,我们就希望能找到一条直线,虽然不能满足所有条件,但能近似地表示这个趋势,或者说,能近似地知道5公里的运输成本,这也是有意义的。
现实生活当中,有很多这样的例子,想起以前在某公司上班的时候,CEO说我们研发部做事有个问题:一个研发任务,要求三个月做完,因为周期太短,完成不了,就干脆不做,这显然是不对的,要尽全力,哪怕三个月完成了80%,或者最终4个月完成,总比不作为的好。
其实最小二乘法也是这样,要尽全力让这条直线最接近这些点,那么问题来了,怎么才叫做最接近呢?直觉告诉我们,这条直线在所有数据点中间穿过,让这些点到这条直线的误差之和越小越好。这里我们用方差来算更客观。也就是说,把每个点到直线的误差平方加起来:
(如果上面的四个方程都能满足,那么S的值显然为0,这是最完美的,但如果做不到完美,我们就让这个S越小越好)

接下来的问题就是,如何让这个S变得最小。这里有一个概念,就是求偏导数

要让S取得最小值(或最大值,但显然这个函数没有最大值,自己琢磨一下),那么S对于β1和β2分别求偏导结果为0,用一个直观的图来表示:

 
 
我们看到这条曲线,前半部分是呈下降的趋势,也就是变化率(导数)为负的,后半部分呈上升的趋势,也就是变化率(导数)为正,那么分界点的导数为0,也就是取得最小值的地方。这是一个变量的情况,对于多个变量的情况,要让S取得最小值,那最好是对β1和β2分别求导(对β1求导的时候,把β2当常量所以叫求偏导),值为0:
 
 
看到这个我们就熟悉了,两个变量,刚好有两个方程式,初中学过,那么很容易得出:
 
 
 
这个函数也就是我们要的直线,这条直线虽然不能把那些点串起来,但它能最大程度上接近这些点。也就是说5公里的时候,成本为3.5+1.4×5=10.5块,虽然不完美,但是很接近实际情况
 
 
2、导数:

上栗子

导数是什么,无非就是变化率呗,王小二今年卖了100头猪,去年卖了90头,前年卖了80头。。
变化率或者增长率是什么?每年增长10头猪,多简单。这里需要注意有个时间变量—年。王小二卖猪的增长率是10头/年,也就是说,导数是10。
函数y=f(x)=10x+30,这里我们假设王小二第一年卖了30头,以后每年增长10头,x代表时间(年),y代表猪的头数
当然,这是增长率固定的情形,现实生活中,很多时候,变化量也不是固定的,也就是说增长率也不是恒定的。
比如,函数可能是这样: y=f(x)=5x²+30,这里x和y依然代表的是时间和头数,不过增长率变了
 
3、偏导数 当变量超过一个的时候,对其中一个变量求变化率
 

上栗子

深度学习还有一个重要的数学概念:偏导数,偏导数的偏怎么理解?偏头疼的偏,还是我不让你导,你偏要导?都不是,我们还以王小二卖猪为例,刚才我们讲到,x变量是时间(年),可是卖出去的猪,不光跟时间有关啊,随着业务的增长,王小二不仅扩大了养猪场,还雇了很多员工一起养猪。所以方程式又变了:y=f(x)=5x₁²+8x₂ + 35x₃ +30
这里x₂代表面积,x₃代表员工数,当然x₁还是时间。上面我们讲了,导数其实就是变化率,那么偏导数是什么?偏导数无非就是多个变量的时候,针对某个变量的变化率呗。在上面的公式里,如果针对x₃求偏导数,也就是说,员工对于猪的增长率贡献有多大,或者说,随着(每个)员工的增长,猪增加了多少,这里等于35—每增加一个员工,就多卖出去35头猪. 计算偏导数的时候,其他变量都可以看成常量,这点很重要,常量的变化率为0,所以导数为0,所以就剩对35x₃ 求导数,等于35. 对于x₂求偏导,也是类似的。

求偏导我们用一个符号 表示:比如 y/ x₃ 就表示y对 x₃求偏导。

 

 
4、简单线性回归
 
上栗子
我们以房屋面积(x)与房屋价格(y)为例,显而易见,这两者是一种线性关系,房屋价格正比于房屋面积,我们假设比例为w:
y^ = w * x
然而,这种线性方程一定是过原点的,即当x=0时,y也一定为0。这可能并不符合现实中的某些场景。
 
为了能够让方程具有更广泛的适应性,我们这里再增加一个截距,设为b,即:y^ = w * x + b
这个方程就是我们数据建模的模型。方程中的w和b就是模型的参数。
 
假定数据集数据如下:
 
线性回归是用来解释自变量和因变量之间的关系,但是,这种关系并非严格的函数映射关系。从数据集中,我们也看到了这一点。相同面积的房屋,价格并不完全相同,但是,也不会相差太大。
什么是严格的函数映射关系?
指的是x 相同,y一定是相同的。
5、多元线性回归
 
上栗子
现实生活中数据可能是比较复杂的,自变量也很可能不是一个。
例如:影响房屋价格可能不止房屋面积一个因素,可能还有楼层,距地铁站的距离,距市中心的距离,房间数量等等。不过,这些因素对房屋价格影响的力度(权重)是不同的,例如:房屋所在楼层对房屋价格的影响就远不及房屋的面积,因此,我们可以使用多个权重来表示多个因素与房屋的关系: 
 
g(x) = w1x1 + w2x2 + w3x3 + w4x4 +b  
x1,x2,x3,x4 :影响因素,及特征,也是字段(Excel里的列名)
w1,w2,w3,…,wn : 每个X影响的力度
 
化简:把b替换成w0,并让他乘以x0,让x0 =1.
g(x) = w1x1 + w2x2 + w3x3 + w4x4 +w0x0
 
 
# linear_model模块可实现各种线性模型。
from sklearn import linear_model
# 创建一个线性回归模型
reg = linear_model.LinearRegression()
# fit :拟合线性回归模型
reg.fit([[0, 0], [1, 1], [2, 2]], [0, 1, 2])
# 线性回归函数公式:
# g(x) = w1x1 + w2x2 + w3x3 + w4x4 + w0
reg.coef_ # #获取斜率w1,w2,w3,…,wn
reg.intercept_#获取截距w0
 
 

 
6、官方完整案例代码:
import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets, linear_model
from sklearn.metrics import mean_squared_error, r2_score
 
# 加载糖尿病数据集
diabetes_X, diabetes_y = datasets.load_diabetes(return_X_y=True)
 
# 仅使用一个特征(字段)
diabetes_X = diabetes_X[:, np.newaxis, 2]
 
# 将数据分隔成训练集
diabetes_X_train = diabetes_X[:-20]
# 将数据分隔成测试集合
diabetes_X_test = diabetes_X[-20:]
 
# 将目标分为训练/测试集
diabetes_y_train = diabetes_y[:-20]
diabetes_y_test = diabetes_y[-20:]
 
# 创建线性回归对象
regr = linear_model.LinearRegression()
 
# 使用训练集训练模型
regr.fit(diabetes_X_train, diabetes_y_train)
# 使用测试集进行预测
diabetes_y_pred = regr.predict(diabetes_X_test)
# 系数
print(‘Coefficients: n, regr.coef_)
# 均方误差
print(‘Mean squared error: %.2f’
% mean_squared_error(diabetes_y_test, diabetes_y_pred))
# 确定系数:1为完美预测
print(‘Coefficient of determination: %.2f’
% r2_score(diabetes_y_test, diabetes_y_pred))
# 绘图输出
plt.scatter(diabetes_X_test, diabetes_y_test, color=‘black’)
plt.plot(diabetes_X_test, diabetes_y_pred, color=‘blue’, linewidth=3)
plt.xticks(())
plt.yticks(())
plt.show()
 
生成的结果:
参考:
1、https://www.zhihu.com/question/36324957/answer/255970074
2、https://scikit-learn.org/stable/user_guide.html
打赏

未经允许不得转载:同乐学堂 » Python人工智能-scikit-learn-04(线性模型)

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

特别的技术,给特别的你!

联系QQ:1071235258QQ群:226134712
error: Sorry,暂时内容不可复制!