局部权重线性回归(Locally weighted linear regression)
局部权重线性回归(Locally weighted linear regression)
在线性回归中,由于对参数个数选择的问题是在问题求解之前已经确定好的,因此参数的个数不能很好的确定,如果参数个数过少可能拟合度不好,产生欠拟合(underfitting)问题,或者参数过多,使得函数过于复杂产生过拟合问题(overfitting)。因此本节介绍的局部线性回归(LWR)可以减少这样的风险。
欠拟合与过拟合
首先看下面的图
对于图中的一系列样本点,当我们采用
局部权重线性回归(Locally weighted linear regression)
在基本的线性回归
问题中,首先我们构造出预测函数h(x),然后变化参数θ使得误差函数最小化,一旦θ确定,以后不会改变,所有的预测值都会使用着一个参数:
相比之下,局部权重线性回归
方法执行如下的算法:
x代表需要预测的值的输入,
w中的τ
称为带宽(bandwidth)参数,可以控制x周围的概念,即控制距离x多远可以参与线性函数的估计,τ
越大,参与的点越多,反之,参与的点越少。
由于局部权重线性回归方法每个预测每一个点时候都需要重新计算一次
θ的值,因此,算法费时间复杂度会很高,是一种non-parametric算法。前面的基本线性回归是一种parametric学习算法。
个人博客:http://www.houlaizhexq.com houlaizhexq.github.io
评论暂时关闭