2024秋季-机器学习-第二章-概率密度函数的估计

VIP免费

2025-01-13 1 0 768.77KB 41 页 5.9玖币

侵权投诉

机器学习

概率密度函数的估计

北京航空航天大学人工智能学院

School of Artificial Intelligence，Beihang University

2024年秋季学期

Autumn 2024

⚫计算贝叶斯后验概率进行决策如何实现？

  





⚫实现中有问题吗？能直接计算吗？

贝叶斯决策的实际使用

基于样本的两步贝叶斯决策

类条件概率密度函数后验概率

⚫第一步：利用样本集估计 和 

得到

 和

 

⚫第二步：将估计量带入贝叶斯决策规则中

得到决策结果

概率密度估计

https://en.wikipedia.org/wiki/Density_estimation

⚫概率密度估计的任务：

➢根据样本数据估计类条件概率密度函数 和类先验概率

⚫为什么需要估计概率密度

➢概率密度估计可以建模原始数据分布，帮助我们更精细地了解数据特性。

进而帮助我们识别数据中的异常值、甚至用于生成新数据

⚫概率密度估计的方法：

➢参数化方法：已知概率密度函数的形式，其中几个参数未知

➢非参数化方法：概率密度函数的形式未知

参数化概率密度估计

⚫参数化概率密度估计的任务

➢已知：已知概率密度函数的形式，只是其中一个或几个参数

未知

➢目标：依据样本估计这些未知参数的值

⚫典型方法

➢极大似然估计：把待估计参数看做是确定的量，只是其取值

未知。最佳估计就是使产生已观测到样本的概率最大的那个

值

➢贝叶斯估计：把待估计参数看做是符合某种先验概率分布的

随机变量。对样本进行观测的过程，就是把先验概率密度转

化为后验概率密度，从而利用样本信息修正参数的初始估计

值的过程

⚫似然函数示例：

⚫假设一维随机变量服从均值为6，方差为1的正态

分布。那么，最可能出现的样本?

⚫  

⚫反之，假定未知，我们从一次抽样中得到一组样

本，来自哪个密度函数的可能性最大

（取什么值）？

1、最大似然估计

似然函数的定义

极大似然估计

⚫极大似然估计的假设条件

➢具有某种确定的解析函数形式，只有部分参数θ未知;

➢参数θ通常为向量，如一维正态分布 中的、

➢参数θ是确定的未知量，不是随机量

➢各类样本集,i=1,2,…,c 满足独立同分布条件(i.i.d.)，即均

为从密度为的总体中独立抽取出来的

➢各类样本只包含本类分布的信息；因此， 可记为

或

⚫基于上述假设，各类条件概率密度可根据各类样本分别估计

极大似然估计

⚫似然函数

➢针对一类已知样本    ，定义参数下观测到样本集的联合

分布概率密度，称为相对于样本集的θ的似然函数

      



⚫基本思想

➢在可能的取值范围内选择使似然函数达到最大的参数值作为参数的估计值

➢形式化描述为：求

，使得

  



➢如果参数  

时，最大，则

是最可能的参数估计值。它是样本集的函数，

记作：

    ，称为极大似然估计量

➢为便于分析求解，实际运用中往往采用对数似然函数：   

⚫求解

➢若似然函数连续可微，最大似然函数估计量就是方程 

  或 

  

的解

➢若未知参数不止一个，即  ，则联立以下s个方程组求解

 

   

⚫极大似然函数的求解性质

➢若似然函数连续可导，存在最大值且必要条件方程有唯一解，则解就是极大似然估

计量

➢如果似然函数有多个解，则使似然函数值最大者为极大似然估计量

极大似然估计

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

5.9 玖币 0人已下载

立即下载 VIP免费下载

摘要：

机器学习概率密度函数的估计北京航空航天大学人工智能学院SchoolofArtificialIntelligence，BeihangUniversity2024年秋季学期Autumn20241⚫计算贝叶斯后验概率进行决策如何实现？��(��ȁ��)=�(��ȁ��)��(��)σ�=��(��ห��)��(��)⚫实现中有问题吗？能直接计算吗？贝叶...

展开>> 收起<<

2024秋季-机器学习-第二章-概率密度函数的估计.pdf

共41页,预览9页

还剩页未读，继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

2024秋季-机器学习-第二章-概率密度函数的估计

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

热门标签

举报选择: