前些天，有人问我机器学习与模式识别有何区别？当时很模糊地回答了一下。这两天重新翻了一下Vapnik的统计学习理论本质，终于有了比较清晰的理解。统计机器学习有三大类问题，分别是模式识别、回归分析以及密度估计。在NLP领域，模式识别无疑是应用最广泛的学习问题。可以这样认为，模式识别旨在解决应用层问题，比如分类，目的只是为了正确分类样本，至于采用的是何种模型（最大熵，SVM，GDA……），这些模型是否反应真实数据分布是它所不关心的。而回归分析旨在刻画数据分布，以数据拟合为例，我们力求找到一条符合样本点的期望曲线，来拟合已有的数据。相对于模式识别而言，回归则更加能反应数据的本质。密度估计则在回归的基础上又深了一层，大部分密度估计都被转化为参数估计问题，比如混合高斯分布（GMM），具体密度函数形式一般由先验或者启发信息给出，这通常被称为归纳偏置。就目前而言，模式识别和回归分析问题在应用中使用有指导的方法居多，而在密度估计问题中，无指导方法使用得更多，最常用的莫过于EM算法了。

         刚刚听完Andrew Ng教授的开放课程前几讲，收获颇丰，因而想写一个系列式的总结。本篇将从回归以及分类的角度来总结一下判别方法（Discriminative Algorithms）。

         很多人搞不清楚判别模型（Discriminative Model）与生成模型（Generative Model）的区别与联系。谈一下我的理解：判别模型是对似然概率P(x|y)进行建模，而生成模型是对后验概率，或者联合概率进行建模。“生成”二字大有深意。因此，像最小二乘法（Least Squares），Logistic Regression等算法属于判别方法，而朴素贝叶斯（Naïve Bayes），HMM等则是生成模型。

线性回归

         问题定义很简单：给定一系列样本点（X, Y），其中X为特征向量，Y为目标预测值。回归的任务是要找到一个假设 Y=h(X) 来拟合这些样本点。如果h为关于X的一个线性函数，那么问题称为线性回归，如果h是一个sigmoid函数，则称为Logistic回归。Logistic回归的预测值在一个小区间内（标准的sigmoid函数，[0, 1]），利用这一特点，可将Logistic回归用于分类问题，将回归用于分类？这听起来似乎不可思议，其实想想分类的本质就清楚了。以二元分类为例，要判断一个实例属于A类还是B类，用统计学的方法可以计算出该实例属于A类的概率以及属于B类的概率，概率显然是[0, 1]的一个实数值，因此用Logistic回归就很自然了。

         为了解决回归问题，即找到一个合适的假设，我们一般的做法是定义如下的损失函数：

         这就是我们常常会用到的最小二乘法。优化该损失函数的方法有很多，用的比较多的是梯度下降，可有增量梯度下降（又叫随机梯度下降，stochastic gradient descent），以及批量梯度下降（batch gradient descent）。这和perceptron的两种训练方法类似。通常，随机梯度下降比批量梯度下降收敛更快，因此在实际应用中也用的更多。

         除了梯度下降，还可以用伪逆矩阵的方法来求解，这种方法非常直观，无需迭代，但是涉及到矩阵求逆，因此效率不高，对于大数据量的情况下不合适。

         那么，最小二乘法为什么是判别模型？它又是如何对似然概率进行建模呢？（终于讲到重点了…）

最小二乘法与最大似然估计

         首先做两点很自然的假设：1、数据中存在噪声；2、我们永远无法将所有特征encode到模型中。因此，一个样本点的期望预测值与实际值之间是有误差的，即：

         现在，给出第三个假设，之间独立同分布，并且服从均值为0的正态分布。即：

         那么很自然的会有：

        那么，似然函数的形式就呼之欲出了，最大化对数似然函数显然等价于最小化误差平方，即最小二乘法的损失函数。因此，最小二乘法是在正态分布假设之下对参数theta的最大似然估计。

局部加权线性回归

         局部加权线性回归（Locally Weighted Linear Regression）是一种思想类似K近邻的非参数回归方法。其实思路是如此的自然，观下图便知：

         我们不知道所有样本应该以一个什么函数去拟合，但是局部地看，我们很有理由相信，一个样本应该和与它离得最近的那些样本点有着相似的目标值。因此，我们在原来的损失函数的基础之上，增加了一个实例权重：

         权重的选择当然是距离相关的，距离越近的实例，权重越高，离的远的实例，权重较低，甚至可以为零。类似KNN，这里的距离可以是欧氏距，也可以是街市距，马氏距。

         这种方法之所以是非参数方法，是因为每次作预测时都要重新计算参数值，因而从始自终都要依赖所有的训练样本。

分类以及Logistic回归

         前面我们提到，可以将Logistic回归用于分类，下面仔细来看一下具体如何操作。

         假设在给定参数的前提下，实例分别属于类1和类0（这里使用0和1表示两个类别）的概率为：

         考虑到概率的区间范围，我们令h为sigmoid函数。sigmoid函数以其非常特殊而优美的导数性质，而成为模式识别中非常常用的一种函数形式。在BP神经网络中更是大展鸿图。对其不熟的读者可以阅读相关文档和书籍。有了上面的概率假设，于是：

        有了这个式子，就可以对theta进行最大似然估计了。

         取对数再求导可以得到（具体求导过程这里再不给出）：

         这个式子真是太熟悉了！假如h不是sigmoid函数而是符号函数，那么这就不就是Perceptron么？可见，基于Logistic回归的分类是在伯努利（Bernoulli）分布假设下的最大似然估计。

         以上是二元分类的情况，其实扩展到多元分类也不难，只是运算比较复杂。这时候就不能只用一个实数值来表示属于某一类的概率了，而要使用向量。可以借鉴一下BP神经网络的原理，每一个输出神经元的值即为属于某一类别的概率。这里不再推导了。

         事实上，在最大似然估计的框架之上，还有一个更大的框架，称为：Generalized Learning Machine（GLM）。这个框架建立在指数函数家族（Exponential Family）的基础之上，可以将以上所讨论的最小二乘法，Logistic回归分类都涵盖进去。

         行文至此，似乎可以结束了，也许会有人问，那SVM属于判别模型还是生成模型呢？SVM的推导过程中既没有似然概率也没有后验概率啊。我认为把它归为任一类都不合适，SVM实际上是在基于VC维理论的一个更大框架之下的模型，事实上，SVM本身就是一个框架，它也是我目前认为最优美的模型。