方差：理解数据的离散程度
方差：理解数据的离散程度
文章目录
方差：理解数据的离散程度引言样本与总体的关系什么是方差？方差的数学公式有偏估计 vs. 无偏估计
方差的计算示例无偏估计的推导与重要性从有偏估计到无偏估计的推导Bessel校正的原因是否总是需要无偏估计？
方差的应用场景结论
引言
方差是统计学和数据分析中的重要概念，用于量化数据集中各个观测值与平均值之间的差异程度。理解方差有助于我们更好地分析数据，并在金融、科学研究、机器学习等领域中发挥关键作用。
在计算方差时，有两种常见的方法：有偏估计和无偏估计。有偏估计通常用于描述当前样本本身的离散程度，而无偏估计则是为了通过样本数据来推断总体特性。了解这两种估计方法的区别对于正确地使用方差至关重要。
样本与总体的关系
在统计学中，总体（Population）是指研究对象的全体，它包含了我们感兴趣的所有个体或观测值。然而，由于时间、成本和其他资源的限制，通常无法对整个总体进行全面研究。因此，研究人员从总体中抽取一个较小的部分，这个部分称为样本（Sample）。样本是总体的一个子集，代表了总体的某些特征。通过对样本进行分析，研究人员可以推断总体的特性。
样本数据是通过采样（Sampling）过程得来的，这个过程可以是随机的，也可以是系统的。采样方法的选择会影响样本的代表性和推断的准确性。因为样本只能部分反映总体的特性，所以在利用样本估计总体特性时，需要特别注意估计方法的选择。
什么是方差？
方差（Variance）是用来度量数据集中各观测值与其平均值之间差异的统计量。方差越大，表示数据点之间的差异越大；反之，方差越小，表示数据点之间的差异越小。
方差的数学公式
对于包含
n
n
n 个观测值
x
1
,
x
2
,
…
,
x
n
x_1, x_2, \ldots, x_n
x1,x2,…,xn 的样本集，方差
σ
2
\sigma^2
σ2 的公式为：
σ
2
=
1
n
∑
i
=
1
n
(
x
i
−
μ
)
2
\sigma^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i - \mu)^2
σ2=n1i=1∑n(xi−μ)2
其中，
μ
\mu
μ 是样本均值，定义为所有观测值的平均值：
μ
=
1
n
∑
i
=
1
n
x
i
\mu = \frac{1}{n} \sum_{i=1}^{n} x_i
μ=n1∑i=1nxi。
有偏估计 vs. 无偏估计
有偏估计：使用分母为 (n) 的公式计算样本方差，用于描述当前样本数据的离散程度。适合在仅关注样本本身特性、不考虑推断总体方差的情况下使用。
无偏估计：使用分母为 (n-1) 的公式计算样本方差，常用于通过样本数据推断总体方差。通过调整分母的值，补偿样本均值可能带来的偏差，使得估计值更接近于总体方差。
方差的计算示例
假设有一个包含五个观测值的数据集：
2
,
4
,
6
,
8
,
10
2, 4, 6, 8, 10
2,4,6,8,10，计算该数据集的方差如下：
计算均值:
μ
=
2
+
4
+
6
+
8
+
10
5
=
6
\mu = \frac{2 + 4 + 6 + 8 + 10}{5} = 6
μ=52+4+6+8+10=6
计算每个观测值与均值之差的平方:
(
2
−
6
)
2
=
16
(2 - 6)^2 = 16
(2−6)2=16
(
4
−
6
)
2
=
4
(4 - 6)^2 = 4
(4−6)2=4
(
6
−
6
)
2
=
0
(6 - 6)^2 = 0
(6−6)2=0
(
8
−
6
)
2
=
4
(8 - 6)^2 = 4
(8−6)2=4
(
10
−
6
)
2
=
16
(10 - 6)^2 = 16
(10−6)2=16 计算方差:
σ
2
=
16
+
4
+
0
+
4
+
16
5
=
8
\sigma^2 = \frac{16 + 4 + 0 + 4 + 16}{5} = 8
σ2=516+4+0+4+16=8
因此，该数据集的方差为 8。
无偏估计的推导与重要性
从有偏估计到无偏估计的推导
样本方差的有偏估计公式为：
S
b
i
a
s
e
d
2
=
1
n
∑
i
=
1
n
(
X
i
−
X
ˉ
)
2
S^2_{biased} = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2
Sbiased2=n1i=1∑n(Xi−Xˉ)2
计算期望值时发现：
E
(
S
b
i
a
s
e
d
2
)
=
σ
2
⋅
n
−
1
n
E(S^2_{biased}) = \sigma^2 \cdot \frac{n-1}{n}
E(Sbiased2)=σ2⋅nn−1
这表明有偏估计低估了总体方差。为了修正这一偏差，我们引入无偏估计，公式为：
S
u
n
b
i
a
s
e
d
2
=
n
n
−
1
⋅
S
b
i
a
s
e
d
2
=
1
n
−
1
∑
i
=
1
n
(
X
i
−
X
ˉ
)
2
S^2_{unbiased} = \frac{n}{n-1} \cdot S^2_{biased} = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2
Sunbiased2=n−1n⋅Sbiased2=n−11i=1∑n(Xi−Xˉ)2
经过推导，得到：
E
(
S
u
n
b
i
a
s
e
d
2
)
=
σ
2
E(S^2_{unbiased}) = \sigma^2
E(Sunbiased2)=σ2
这证明了无偏估计的期望值正好等于总体方差，保证了估计的准确性。
Bessel校正的原因
Bessel校正通过将分母改为
n
−
1
n-1
n−1 来调整样本方差的估计，确保其无偏。这种调整考虑了样本均值与总体均值的差异，使得估计更接近真实的总体方差。
是否总是需要无偏估计？
如果只关注当前样本的离散程度而不是推断总体方差，可以直接使用样本方差，即采用分母为
n
n
n 的公式。这种情况下，无需进行无偏估计的校正，因为目标只是描述样本本身而非推断总体特性。
方差的应用场景
金融领域：衡量资产价格波动性。质量控制：监测生产过程中的一致性。社会科学：评估调查数据的可靠性。生物学：分析实验数据的变异性。机器学习：识别模型训练中的重要特征。
结论
方差是描述数据离散程度的关键工具。在估计样本方差时，使用无偏估计能更准确地反映总体方差。如果仅关心样本本身的特性，无需进行无偏估计。
