斯坦福《机器学习》Lesson6感想———1、函数间隔和几何间隔，《机器学习》lesson6

斯坦福《机器学习》Lesson6感想———1、函数间隔和几何间隔，《机器学习》lesson6

    这一课主要是从如何判断一个机器学习分类算法里拟合的参数是最佳参数引出函数间隔和几何间隔的定义。

 

1、函数间隔

    假设假想函数，，那么可以知道y=1；反之则y=0 。所以当，我们可以很确定的认为y=1；当，可以很确定地认为y=0。所以在分类算法中，我们在训练样本时得到这两个结果的时候，就可以知道选择的参数能很好的拟合数据，能很有自信地认为我们的分类器是符合数据事实的。因此我们数据可以引出函数间隔的定义。

    给定某一个数据案例，假想函数为（用(w,b)表示，表示为b，表示为w，整个假想函数的结果表示为{-1,1}），我们可以定义基于参数（w,b）的这个数据案例的函数间隔为：

因此可知，如果要得到一个值尽可能大的函数间隔，在时，需要为一个尽可能大的正数即为。在时，需要为一个尽可能大的负数即为。所以我们可以推出

当函数间隔大的时候，算法选择的参数能更好的模拟数据的现实能对测试数据集做出更好的推测。

    在给定的整个训练数据集上，函数间隔为:

 

2、几何间隔

图1

    假设假想函数，图1中的线表示，称为分隔超平面(用来将数据集分隔开来的直线，也叫决策边界)。图1中所有数据点都在二维平面上，所以此时分隔超平面为一条直线。但是如果所有数据点是在三维空间里，则分隔超平面为一个平面。如果数据在n维空间里，则分隔超平面为n-1维的超平面。

    可知数据点里决策边界越远，其最后的预测结果就越可信。图1中的A点离决策边界最远，说明可以非常确定的认为它属于y=1；而c点最靠近决策边界，只要稍微改变下决策边界就可以判断其属于y=0。因此，可知分隔超平面（决策边界）的选择取决于离分隔超平面最近的点与分隔超平面之间的间隔，这间隔就是几何间隔，支持向量就是离分隔超平面最近的点。几何间隔越大，说明分类器越可信。

图2

    按图2可定义几何间隔，已知A为，假想函数为，可知w是分隔超平面的法向量，w/||w||为分隔超平面的单位法向量。点A可以代表y=1的情况，假设AB= ，所以B（，0）。所以可以得到如下等式：

所以求解可得：

这个求解的只是y=1的情况，所以综合y=-1的情况可定义A点的几何间隔为：

在给定的整个训练数据集上，几何间隔为

 

3、函数间隔和几何间隔的关系

函数间隔/||w|| =几何间隔

函数间隔会随着w和b的缩放而缩放，但是对于算法的参数选取没有意义。几何间隔不会随着w和b的缩放而缩放。

版权声明：本文为博主原创文章，未经博主允许不得转载。