2024秋季-机器学习-第二章-预备知识-贝叶斯决策理论

VIP免费
2025-01-13 0 0 1.4MB 72 页 5.9玖币
侵权投诉
机器学习
预备知识：贝叶斯决策理论
北京航空航天大学 人工智能学院
School of Artificial Intelligence，Beihang University
2024年秋季学期
Autumn 2024
1
引言
Assume a model of the p.d.f. and
estimate parameters
•Gaussian density
•Mixture densities
⚫Based on class-
conditional p.d.f
(probability density
function) No model assumptions:
‘non-parametric’
•histogram methods
•k-nearest neighbours
•kernel method
⚫Based on
Discriminant
function Linear discriminant function.
•Perceptron
•Fisher Discriminant
•Logistic Discriminant
•Support vector machine
⚫Based on similarity
with stored sample
预测算法
Non-linear discriminant
function.
参数化方法
⚫例：医生要根据病人血液中白细胞的浓度来判断病
人是否患血液病。（两分类问题）
⚫在没有任何信息的情况下，如何做决策？
引言
一个简单的例子
3
⚫对该问题的数学表示如下：
⚫用Ω表示“类别”这一随机变量，表示正常， 表
示患病
⚫X表示“白细胞浓度”这个随机变量
⚫x表示浓度值
⚫在连续的情况下，假设对要识别的物理对象有d种特征
观察量：
⚫这些特征的所有可能的取值范围构成了d维空间：

⚫我们又称x为d维特征向量。
引言
基本符号与定义
4
⚫患病和健康两类分别记作和。 用和
分别表示两类的概率，这一决策规则可以表
示为：
如果＞， 则x
；反之， x
⚫上面所说的概率和是在没有对样本进
行任何观测情况下的概率，所以叫做先验概率
（Prior probability）。
引言
一个简单的例子
5
⚫若此时观测到白细胞的浓度x，考察该情况下属于各
类的概率，分别记作和。这种概率叫
做后验概率（posterior probability）。决策规则为：
如果＞， 则x
；反之， x
⚫问题是：如果只测了x，如何才能知道，i= 1，
2？
⚫概率密度函数！
引言
6
⚫根据以往医生的经验知道：
–患病的人，白细胞的浓度与正常人不同
–一般人群中，患病的人数比例为0.1。
⚫医生的先验概率：


⚫如果已知一个人的白细胞浓度，医生应该做出怎
样的判断？
引言
7
⚫根据概率论中的贝叶斯公式，有：
  
 = 
 , i= 1,2
⚫其中， 是先验概率； 是x与的联合概率密度；
是两类所有样本的概率密度，称作总体密度。
⚫这样，后验概率就转化成为了先验概率与类条件密度的乘积，再
用整体的密度进行归一化。
⚫在比较时，总体密度没有区别，因此只需要比较分子项。决策规
则如下：
如果＞，则x
；反之，x
⚫其中，先验概率需要根据实际健康人群和患者的总体比例进行估
计；类条件密度则需要用一定的属于本类别的训练样本来进行估
计。
引言
8
⚫贝叶斯决策：在类条件概率密度和先验已
知（或可以估计）的情况下，通过贝叶斯公
式比较样本属于两类的后验概率，将类别决
策为后验概率大的一类。
⚫在只有两类的情况下， += 1；
如果决策，那么犯错误的概率就是
 = 1 - =；反之亦然。
⚫通过后验概率判断类别，目的是使得整体的
错误率最小。
引言
9
⚫贝叶斯决策理论是统计模式识别中最基本的方
法，利用此方法进行分类时要求:
–类别数是一定的、各类别的条件概率是已知的
–各类别先验概率已知
–总体概率密度已知
⚫统计决策理论：根据每一类总体的概率分布决
定决策边界
⚫评价决策有多种标准，对于同一个问题，采用
不同的标准会得到不同意义下“最优”的决策。
引言
10
摘要：

机器学习预备知识：贝叶斯决策理论北京航空航天大学人工智能学院SchoolofArtificialIntelligence，BeihangUniversity2024年秋季学期Autumn20241引言Assumeamodelofthep.d.f.andestimateparameters•Gaussiandensity•Mixturedensities⚫Basedonclass-conditionalp.d.f(probabilitydensityfunction)Nomodelassumptions:‘non-parametric’•histogrammethods•k-nearestnei...

展开>> 收起<<
2024秋季-机器学习-第二章-预备知识-贝叶斯决策理论.pdf

共72页,预览15页

还剩页未读， 继续阅读

声明：本站为文档C2C交易模式，即用户上传的文档直接被用户下载，本站只是中间服务平台，本站所有文档下载所得的收益归上传人(含作者)所有。玖贝云文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私，请立即通知玖贝云文库，我们立即给予删除！

相关推荐

更多
立即下载
分类：计算机 价格：5.9玖币 属性：72 页 大小：1.4MB 格式：PDF 时间：2025-01-13

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

热门标签

高考理综 人际关系 配电装置 动力学连接体 力的合成 全宋诗作者索引 公务员考试
/ 72
评分 收藏
分享
立即下载 VIP免费下载
客服
关注