Skip to content

Latest commit

 

History

History
79 lines (65 loc) · 3.72 KB

basic2.md

File metadata and controls

79 lines (65 loc) · 3.72 KB

统计推断基础概念-Bayes

1. 先验（Prior）

  • 定义：先验是指在进行数据分析之前对某个参数或模型的初步知识或假设。它反映了在观察数据之前对参数的信念或理解。
  • 符号：通常用 ( P(\theta) ) 表示，其中 ( \theta ) 是我们感兴趣的参数。
  • 示例：在医疗试验中，如果已有先前研究表明某种药物的有效率为70%，那么我们可以将70%视为该药物有效率的先验概率。

2. 极大似然（Maximum Likelihood）

  • 定义：极大似然是一种估计方法，旨在通过找到使观察到的数据似然函数最大化的参数值来进行参数估计。极大似然估计（MLE）基于数据的观察结果，而不依赖于先验分布。
  • 符号：通常表示为 ( \hat{\theta}_{MLE} )，即最大似然估计的参数值。
  • 公式：似然函数 ( L(\theta) ) 定义为在参数 ( \theta ) 下观察到数据 ( D ) 的概率： [ L(\theta) = P(D | \theta) ] 最大化似然函数以找到估计： [ \hat{\theta}{MLE} = \arg\max{\theta} L(\theta) ]
  • 示例：在进行回归分析时，可以使用极大似然估计来确定回归系数。

3. 后验（Posterior）

  • 定义：后验是指在观察到数据后对参数的更新知识。它结合了先验信息和新数据，从而形成对参数的更新信念。
  • 符号：通常用 ( P(\theta | D) ) 表示，其中 ( D ) 是观察到的数据。
  • 公式：根据贝叶斯定理，后验概率可以通过以下公式计算： [ P(\theta | D) = \frac{P(D | \theta) \cdot P(\theta)}{P(D)} ]
  • 示例：在观察到新数据后，我们根据先前的信念（先验）和新数据（似然）计算得到的有效率就叫做后验概率。

4. 贝叶斯公式（Bayes' Theorem）

  • 定义：贝叶斯公式是描述条件概率之间关系的定理。它提供了一种方法，通过先验和似然来更新对参数的信念。
  • 公式： [ P(\theta | D) = \frac{P(D | \theta) \cdot P(\theta)}{P(D)} ] 其中：
    • ( P(\theta | D) )：后验概率；
    • ( P(D | \theta) )：似然，即在给定参数 ( \theta ) 下观察到数据 ( D ) 的概率；
    • ( P(\theta) )：先验概率；
    • ( P(D) )：边际似然，用于规范化，确保后验概率的总和为1。
  • 示例：贝叶斯公式可以用来在新症状出现后更新对某种疾病概率的看法。

5. 最大后验分布(MAP)

是指在给定观察数据之后，参数的后验分布中具有最大概率的参数值。

公式

  • MAP 的计算可以表示为： [ \hat{\theta}{MAP} = \arg\max{\theta} P(\theta | D) ]
  • 根据贝叶斯定理，这个最大化可以转化为最大化似然和先验的乘积： [ \hat{\theta}{MAP} = \arg\max{\theta} \left( P(D | \theta) \cdot P(\theta) \right) ]

与后验的关系

  • 后验分布 ( P(\theta | D) ) 表示在观察到数据 ( D ) 后对参数 ( \theta ) 的信念，而 MAP 估计是这种信念中最有可能的一个具体值。

与极大似然估计（MLE）的区别

  • MAP 估计不仅考虑似然 ( P(D | \theta) )，还引入了先验 ( P(\theta) )。
  • 极大似然估计（MLE）只关注似然，忽略先验信息。
  • 当先验分布均匀或不显著时，MAP 和 MLE 的结果可能非常接近。

总结

  • 先验：在观察数据之前对参数的信念。
  • 后验：在观察到数据后对参数的更新信念。
  • 极大似然：通过最大化似然函数进行参数估计的方法。
  • 贝叶斯公式：结合先验和似然更新参数信念的工具。

这些概念是统计推断和机器学习中的基础，特别是在处理不确定性和推理时。