第三章 概率密度函数的估计 - 北京大学数学科学学院.pdf

第三章

概率密度函数的估计

2011-9-22

引言

3

基于样本的两步Bayes决策

决策规则：

样本分布的决策规则：

样本分布的

训练样本集判别函数

训练样本集统计特征：判别函数

统计特征：

ˆ决策面方程

(),ˆ(决策面方程

Ppx|)

ii

要求：

类先验概率的估计

依靠经验、用频率估计；

类条件概率密度函数的估计

参数估计、非参数估计。

4

参数估计的基本概念

统计量：样本集的某种函数

f(K)，K={x,x,…,x}；

12N

参数空间：总体分布的未知参数θ所有可能取

值组成的集合（Θ）；

点估计的估计量和估计值：

ˆ

Θ的估计量=d(x,x,…,x)是样本集的函

12N

数；

估计量对样本集的一次实现称为估计值。

5

估计量的评价

无偏性（数学期望）：Eˆ;





ˆ

有效性（风险小）：var越小，越有效；



ˆ



相合性（一致性）：样本数趋于无穷时，依概

率趋于θ，即



limP0.

nn

最大似然估计