均方误差的计算公式为： [ \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 ] 其中：
- ( n ) 是样本数量；
- ( y_i ) 是第 ( i ) 个观测值（真实值）；
- ( \hat{y}_i ) 是第 ( i ) 个预测值。
- 无偏性：MSE 是一个非负值，且仅在预测值完全准确时取值为零。
- 对离群值敏感：由于对误差进行了平方处理，较大的误差会对 MSE 产生较大影响，因此 MSE 对离群值非常敏感。
均方误差是用来评估估计量的质量的指标，定义为估计量与真实参数之间差异的平方的期望值。对于估计量 ( \hat{\theta} )，均方误差可以表示为： [ \text{MSE}(\hat{\theta}) = \mathbb{E}\left[(\hat{\theta} - \theta)^2\right] ] 其中：
- ( \hat{\theta} ) 是估计量；
- ( \theta ) 是真实参数值；
- ( \mathbb{E} ) 表示期望值。
均方误差可以通过偏差和方差的分解公式进行进一步分析： [ \text{MSE}(\hat{\theta}) = \text{Var}(\hat{\theta}) + \left(\text{Bias}(\hat{\theta})\right)^2 ] 其中：
- 方差 ( \text{Var}(\hat{\theta}) )：表示估计量在不同样本间的变动程度。
- 偏差 ( \text{Bias}(\hat{\theta}) )：表示估计量的期望与真实参数值之间的差距，即： [ \text{Bias}(\hat{\theta}) = \mathbb{E}[\hat{\theta}] - \theta ]
- 无偏估计：如果估计量是无偏的，即 ( \text{Bias}(\hat{\theta}) = 0 )，则均方误差仅等于方差： [ \text{MSE}(\hat{\theta}) = \text{Var}(\hat{\theta}) ]
- 有偏估计：如果估计量有偏，则均方误差会受到偏差的影响，因此需要考虑偏差与方差的平衡。
- 评估估计量：MSE 是评估不同估计量性能的常用标准，帮助选择最佳的估计量。
- 模型优化：在机器学习和统计建模中，均方误差常用于优化模型参数，以减少误差并提高预测准确性。
估计量的均方误差是评估估计量性能的重要指标，通过方差和偏差的分解，可以清晰地了解估计量的准确性与稳定性。它在统计推断和机器学习中具有广泛的应用。
偏差是指估计量的期望与真实值之间的差距，定义为： [ \text{Bias}(\hat{\theta}) = \mathbb{E}[\hat{\theta}] - \theta ]
- 如果 ( \text{Bias}(\hat{\theta}) = 0 )，则称为无偏估计。
- 否则，估计量是有偏的。
通过展开均方误差，可以得到偏差和方差的分解公式： [ \text{MSE}(\hat{\theta}) = \text{Var}(\hat{\theta}) + \left(\text{Bias}(\hat{\theta})\right)^2 ]
展开均方误差的公式： [ \begin{align*} \text{MSE}(\hat{\theta}) &= \mathbb{E}\left[(\hat{\theta} - \theta)^2\right] \ &= \mathbb{E}\left[(\hat{\theta} - \mathbb{E}[\hat{\theta}] + \mathbb{E}[\hat{\theta}] - \theta)^2\right] \ &= \mathbb{E}\left[(\hat{\theta} - \mathbb{E}[\hat{\theta}])^2 + 2(\hat{\theta} - \mathbb{E}[\hat{\theta}])(\mathbb{E}[\hat{\theta}] - \theta) + (\mathbb{E}[\hat{\theta}] - \theta)^2\right] \end{align*} ] 利用期望的线性性质和方差的定义： [ \begin{align*} \text{MSE}(\hat{\theta}) &= \text{Var}(\hat{\theta}) + \mathbb{E}\left[2(\hat{\theta} - \mathbb{E}[\hat{\theta}])(\mathbb{E}[\hat{\theta}] - \theta)\right] + \left(\mathbb{E}[\hat{\theta}] - \theta\right)^2 \ &= \text{Var}(\hat{\theta}) + 0 + \left(\mathbb{E}[\hat{\theta}] - \theta\right)^2 \ &= \text{Var}(\hat{\theta}) + \left(\text{Bias}(\hat{\theta})\right)^2 \end{align*} ]
- 定义：偏差是指模型预测的期望值与真实值之间的差异。它衡量的是模型的拟合能力，通常表示模型的简化程度（过于简单的模型可能会产生较大的偏差）。
- 高偏差：高偏差意味着模型过于简单，无法捕捉数据的复杂性，导致欠拟合（underfitting）。
- 示例：线性模型对高度非线性数据的拟合可能会有较大的偏差。
[ \text{Bias} = E[\hat{f}(x)] - f(x) ] 其中 ( E[\hat{f}(x)] ) 是模型预测值的期望，( f(x) ) 是数据的真实值。
- 定义：方差指的是模型对训练数据的敏感性，描述模型预测值的波动性。高方差意味着模型过度拟合训练数据，容易受到数据中噪声的影响。
- 高方差：高方差意味着模型过于复杂，训练时表现良好，但对新数据的泛化能力较差，导致过拟合（overfitting）。
- 示例：在多项式回归中，高阶多项式模型可能会对训练数据产生较高的方差。
[ \text{Variance} = E[(\hat{f}(x) - E[\hat{f}(x)])^2] ] 其中 ( \hat{f}(x) ) 是模型的预测值，( E[\hat{f}(x)] ) 是预测值的期望。
- 定义：模型复杂度反映的是模型的灵活性和自由度。简单模型有较少的自由参数（如线性回归），而复杂模型则有更多的自由参数（如深度神经网络）。
- 影响：模型复杂度越高，模型越容易拟合训练数据，但也可能导致泛化能力下降。模型复杂度的平衡是偏差和方差之间的权衡。
偏差-方差分解是一种用于理解模型预测误差来源的工具，它将总误差分解为偏差、方差和不可避免的噪声三部分。
对于均方误差（Mean Squared Error, MSE），可以分解为偏差、方差和不可避免的噪声项： [ \text{MSE} = \text{Bias}^2 + \text{Variance} + \text{Irreducible Error} ]
- Bias：模型的偏差，表示模型预测的期望值与真实值之间的差距；
- Variance：模型的方差，表示模型对数据波动的敏感度；
- Irreducible Error：无法减少的误差，来源于数据中的噪声。
- 低偏差，高方差：复杂模型容易过拟合训练数据，拟合能力强，但对新数据表现不佳（如高阶多项式回归）。
- 低方差，高偏差：简单模型易于泛化，但可能欠拟合数据，忽略了数据中的模式（如线性回归对非线性数据）。
- 平衡点：理想的模型应在偏差和方差之间取得平衡，既能准确拟合训练数据，又能在新数据上表现良好。
通常，可以通过下图来理解偏差-方差权衡的直观感受：
- 欠拟合：高偏差，低方差，模型过于简单，无法捕捉数据的复杂性。
- 最佳拟合：适中的偏差和方差，模型既能拟合数据又能泛化。
- 过拟合：低偏差，高方差，模型过于复杂，过度拟合训练数据。
- Bias 衡量的是模型的简化程度，通常简单模型会有较高的偏差。
- Variance 衡量的是模型对数据的敏感性，复杂模型通常会有较高的方差。
- Bias-Variance Tradeoff 是在选择模型时的重要考虑，理想的模型能够在偏差和方差之间找到最佳平衡，既不会欠拟合也不会过拟合。
- Bias-Variance Decomposition 通过分解误差为偏差、方差和噪声，帮助理解模型的误差来源。