基于条件概率分类的两种模型算法:logistic回归模型与最大熵模型。

电子说

1.3w人已加入

描述

条件概率是机器学习模型的一种表现形式,应用这一模型,对于给定的输入X,得到各输出类的概率,选择最大概率的类为输出类,如下图:

机器学习

本文介绍基于条件概率分类的两种模型算法:逻辑斯蒂(logistic)回归与最大熵模型,其中,logistic回归模型和最大熵模型分别是基于最大似然函数和熵来估计模型P(y|x)。公众号已有logistic回归模型的文章介绍,本文重点分析最大熵模型算法。

目录

1. 最大熵模型算法

2. 最大熵模型例子

3. 最大熵模型在信号检测的应用

4. logsitic回归模型算法

5. 总结

1.最大熵模型算法

熵是衡量随机变量不确定性的指标,熵越大,随机变量的不确定性亦越大。假设X是一个离散型随机变量,其概率分布为:

机器学习

随机变量X的熵定义为:

机器学习

熵满足下列不等式:

机器学习

式中,|X|是x的取值个数,当且仅当X的分布是均匀分布时,右边的等号成立,也就是说,当X服从均匀分布时,熵最大。

1.1 最大熵模型的定义

最大熵原理是概率模型学习的一个准则,最大熵原理认为,学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型是最好的模型。条件概率是机器学习模型的一种表现形式,学习该模型的一种方法是最大化该条件概率的熵 ,即最大化下式:

机器学习

其中机器学习表示变量X的经验分布:

机器学习

其中v(X=x)表示训练数据中输入x出现的频数,N表示样本容量。

(1)式的未知变量机器学习就是需要学习的模型。

我们在构建分类模型机器学习的过程中假设训练数据集的联合概率分布与真实模型的联合概率分布相等,这一假设用特征函数f(x,y)的期望来描述,特征函数的定义:

机器学习

特征函数f(x,y)关于训练数据集的联合概率分布的期望值,用机器学习表示:

机器学习

其中,

机器学习

,v(X=x,Y=y)表示训练数据中样本(x,y)出现的频数。

特征函数f(x,y)关于模型机器学习与经验分布机器学习的期望值,用机器学习表示:

机器学习

假设两者期望相等,即:

机器学习

机器学习

结合(1)(4)式,得到最大熵模型:

机器学习

约束条件:

机器学习

1.2 最大熵模型的学习

我们求解(5)式在约束条件下的最大值,其对应的模型P(Y|X)就是所学习的最优模型。

对于给定的训练数据集机器学习以及特征函数机器学习,i=1,2,...,n,最大熵模型的学习等价于约束最优化问题:

机器学习

将最大值问题转化为等价的求最小值问题:

机器学习

机器学习

引入拉格朗日乘子机器学习将约束的最优化问题转换为无约束最优化的对偶问题,通过求解对偶问题求解原始问题。

定义拉格朗日函数L(P,w):

机器学习

最优化的原始问题:

机器学习

对偶问题:

机器学习

机器学习

得:

机器学习

由于机器学习,对上式进行归一化得:

机器学习

其中,

机器学习

机器学习

易知机器学习对偶问题外部的极大化问题:

机器学习

根据上式求解的机器学习代入(2.4)式,得到最终的学习模型P(y|x)。

2. 最大熵模型例子

假设随机变量Y有5个取值机器学习,假设随机变量Y的条件概率分布满足如下条件:

机器学习

求最大熵模型对应的概率分布P(Y)。

最大熵模型的目标函数:

机器学习

引进拉格朗日乘子机器学习,定义拉格朗日函数:

机器学习

机器学习,得:

机器学习

将上式代入函数L(P,w)得机器学习,令机器学习,得:

机器学习

于是最大熵模型对应的概率分布:

机器学习

3. 熵模型在信号检测的应用

由第一节我们知道,熵是描述事物不确定性的指标。我们将熵的这一性质应用在信号检测领域,当信号包含了较强的随机噪声时或被噪声完全掩盖时,信号的随机性大大的增加了,其对应的熵也较大,根据这一原理对信号的质量进行检测,下图是用熵检测心电信号质量的效果图:

机器学习

黑色表示较好的心电信号质量,红色表示较差的心电信号质量。

4. logistic回归算法

logistic回归是一种概率分类模型,对于二分类任务来说,其条件概率分布:

机器学习

我们用最小化损失函数去估计上式的模型参数。对于给定的训练数据集机器学习,其中,机器学习

设:

机器学习

似然函数为:

机器学习

对数似然函数为:

机器学习

损失函数为:

机器学习

用梯度下降法求解w的估计值机器学习

机器学习

代入(2.1)(2.2)式,得到逻辑斯蒂回归模型P(y|x),其中向量包含了b值 。

5. 小结

本文介绍基于条件概率分类的两种模型算法:logistic回归模型与最大熵模型,其中,logistic回归模型是基于最大似然函数估计模型P(y|x),最大熵模型是基于熵这一指标估计模型P(y|x)。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分