fisher判别式
发布时间：2023-02-11 22:26:01
Fisher线性判别式前面讲过的感知器准则、最小平方和准则属于用神经网络的方法解决分类问题。下面介绍一种新的判决函数分类方法。由于线性判别函数易于分析，关于这方面的研究工作特别多。历史上，这一工作是从R.A.Fisher的经典论文（1936年）开始的。我们知道，在用统计方法进行模式识别时，许多问题涉及到维数，在低维空间行得通的方法，在高维空间往往行不通。因此，降低维数就成为解决实际问题的关键。Fisher的方法，实际上涉及维数压缩。如果要把模式样本在高(d维的特征向量空间里投影到一条直线上，实际上就是把特征空间压缩到一维，这在数学上容易办到。另外，即使样本在高维空间里聚集成容易分开的群类，把它们投影到一条任意的直线上，也可能把不同的样本混杂在一起而变得无法区分。也就是说，直线的方向选择很重要。在一般情况下，总可以找到某个最好的方向，使样本投影到这个方向的直线上是最容易分得开的。如何找到最好的直线方向，如何实现向最好方向投影的变换，是Fisher法要解决的基本问题。这个投影变换就是我们寻求的解向量w。*1．线性投影与Fisher准则函数在w1/w2两类问题中，假定有n个训练样本xk(k1,2,....,n其中n1个样本来自wi类型，n2个样本来自wj类型，nn1n2。两个类型的训练样本分别构成训练样本的子集X1和X2。令：ykwTxk，k1,2,...,n(4.5-1yk是向量xk通过变换w得到的标量，它是一维的。实际上，对于给定的w，yk就是判决函数的值。1
由子集X1和X2的样本映射后的两个子集为Y1和Y2。因为我们关心的是w的方向，可以令||w||1，那么yk就是xk在w方向上的投影。使Y1和Y2最容易区分开的w方向正是区分超平面的法线方向。如下图：Y1和Y2还无法分开，图中画出了直线的两种选择，图(a中，而图(b的选择可以使Y1和Y2区分开来。所以图(b的方向是一个好的选择。下面讨论怎样得到最佳w方向的解析式。各类在d维特征空间里的样本均值向量： 