样本及抽样分布

第六章：样本及抽样分布

之前一直是概率论的基本内容，本章开始讨论数理统计。

在数理统计中，随机变量是未知的，或者是不完全知道的。

随机样本

「总体」

对于一个随机试验，其所有可能的观察值称为总体，每一个可能的观察值称为个体。

总体分为有限总体和无限总体，根据容量是否有限来划分。

一个总体对应着一个随机变量 $X$，所以对总体的研究就是对随机变量 $X$ 的研究，统称为总体 $X$。

「样本」

总体的分布一般是未知的，只知道抽取出的一部分个体的分布，这部分个体称为样本。

样本也有容量，记为 $n$，样本容量 $n$ 的样本为 $X_1, X_2, \ldots, X_n$ 是随机变量，**样本值（观察值）**为 $x_1,x_2\cdots,x_n$.

样本是从总体中抽取出来的个体的集合，一般是 简单随机样本，用放回抽样的方法得到。当 $N>>n$ 时，不放回抽样也可以近似看作是放回抽样。

「定义」

把样本看成随机向量 $(X1,X2,\cdots,X_n)$，样本值 $(x_1, x_2,\cdots,x_n)$，则

$(X_1, X_2,\cdots,X_n)$ 的分布函数为：

$$F^{*}(x_1, x_2\cdots, x_n)=\prod_{i=1}^nF(x_i)$$

概率密度为：

$$f^{*}(x_1, x_2\cdots, x_n)=\prod_{i=1}^nf(x_i)$$

直方图和箱线图

「直方图」

• 横轴 = 数据区间。
• 纵轴 = 落入该区间的数据个数或比例。

「箱线图」

样本分位数：设有容量为 $n$ 的样本观察值 $x1,x2,\cdots,x_n$，样本 $p$ 分位数 $0<p<1$ 记为 $x_p$，则：

• 至少有 $np$ 个观察值小于或等于 $x_p$，
• 至少有 $n(1-p)$ 个观察值大于或等于 $x_p$.

画箱线图要关注以下五个数值：

最小值 $\text{Min}$，第一四分位数 $Q_1$，中位数 $M$，第三四分位数 $Q_3$，最大值 $\text{Max}$。

箱线图的绘制步骤：

• 计算样本的五个数值 $\text{Min}, Q_1, M, Q_3, \text{Max}$.
• 在横轴上标出这五个数值。
• 在横轴上画出一个矩形，矩形的左边界为 $Q_1$，右边界为 $Q_3$，矩形的中间线为 $M$。
• 在矩形的左边画一条线段，连接 $\text{Min}$ 和 $Q_1$，在矩形的右边画一条线段，连接 $Q_3$ 和 $\text{Max}$。

可以反应以下性质：

• 中心位置
• 散布程度：通过 $Q_1$ 和 $Q_3$ 的距离（四分位距）来衡量。
• 对称性

对于离群点的量化判断：

• 如果 $x < Q_1 - 1.5 \times IQR$ 或 $x > Q_3 + 1.5 \times IQR$，则认为 $x$ 是离群点
• 其中 $IQR = Q_3 - Q_1$，是 Interquartile Range，四分位距。

---

经验分布函数

经验分布函数就是你根据样本数据本身，去估计总体分布函数的一种方法。

其定义为：$F_n(x)$ 表示小于等于 $x$ 的观察值所占的比率。

即：

$$F_n(x)=\frac{(x_1,x_2,\cdots,x_n)\text{ 中小于等于 }x\text{ 的个数} }{n}$$

呈现出来的就是一个，每次跃升的高度为 $\frac{1}{n}$ 的阶梯函数。

当 $n\to +\infty$ 时，$F_n(x)$ 可以当做 $F(x)$ 来使用，这是格里汶科定理。

样本统计量

统计量： $g(X_1,X_2\cdots,X_n)$ 是样本 $(X_1,X_2\cdots,X_n)$ 的函数，不含任何未知参数。

统计值：$g(x_1,x_2,\cdots,x_n)$ 是 $g(X_1,X_2,\cdots,X_n)$ 的观测值。

思路是要模仿总体中的统计量，

「样本均值」

$$\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$$

「样本方差」

$$S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2=\frac{1}{n-1}(\sum_{i=1}^nX_i^2-n\bar X^2)$$

除以 $n-1$ 这是为了保证样本方差的无偏性，需要记住。中间是定义式，展开即可右侧，是计算中常用的形式。

「样本标准差」

$$S = \sqrt{S^2} = \sqrt{\frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2}$$

「样本 $k$ 阶原点矩」

$$A_k = \frac{1}{n}\sum_{i=1}^n X_i^k$$

「样本 $k$ 阶中心矩」

$$B_k = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^k$$

对应的总体概念，总体 $k$ 阶原点矩：$E[X^k]$，总体 $k$ 阶中心矩：$E[(X-EX)^k]$

---

统计量的数字特征

设总体 $X$ 无论服从什么分布，满足期望 $EX=\mu$ 和方差 $DX=\sigma^2$，则：

$$E(X_i)=\mu,\quad D(X_i)=\sigma^2$$

这是很容易得到的。进而有三个重要公式：

$$\color{red}{E(\bar X)=\mu,\quad D(\bar X)=\frac{\sigma ^2}{n},\quad E(S^2)=\sigma^2}$$

$$E(\bar X)=E(\frac{1}{n}\sum_{i=1}^nX_i)=\frac{1}{n}\sum_{i=1}^nEX_i=\mu$$ $$D(\bar X)=D(\frac{1}{n}\sum_{i=1}^nX_i)=\frac{1}{n^2}\sum_{i=1}^nEX_i=\frac{\sigma^2}{n}$$ $$E(S^2)=E\left[\frac{1}{n-1}(\sum_{i=1}^nX_i^2-n\bar X^2)\right]=\frac{1}{n-1}\left(\sum_{i=1}^nE(X_i^2)-nE(\bar X^2)\right)$$ $$\Rightarrow=E(S^2)=\frac{1}{n-1}\left[n(\mu^2+\sigma^2)-n(\mu^2+\frac{\sigma^2}{n})\right]=\sigma^2$$

利用这三个公式，可以做很多变形，从而解题。

---

抽样分布

下面介绍正态总体的三大抽样分布。抽样分布就是统计量的分布。

卡方分布

由正态分布扩展而来，正态分布的平方和服从卡方分布。

设 $X_1,X_2,\cdots,X_n$ 来自总体 $N(0,1)$ 且相互独立，则随机变量

$$\chi^2=X_1^2+X_2^2+\cdots+X_n^2,\quad X_i\sim N(0,1)$$

服从自由度为 $n$ 的卡方分布，记为 $\chi^2\sim \chi^2(n)$。

自由度越高，分布越接近正态分布。

这里并不重要。卡方分布的概率密度公式为

$$f(y)=\left\{ \begin{array}{} \dfrac{1}{2^{n/2}\Gamma(n/2)}y^{n/2-1}e^{-y/2}, &y>0\\ 0, &\text{Otherwise} \end{array} \right.$$

其中 $\Gamma$ 是一种分布函数。 「可加性」

设 $\chi^2_1=\chi^2(n_1)$，$\chi_2^2=\chi^2(n_2)$ ，且 $\chi_1^2$ 和 $\chi_2^2$ 相互独立，则：

$$\chi_1^2+\chi_2^2=\chi^2(n1+n2)$$

「期望和方差」

$$E(\chi^2_n)=n,\quad D(\chi^2_n)=2n$$

「分位点」

设分布函数 $F(x)$，若有：

$$P\{X>x_\alpha\}=\alpha$$

则称 $x_\alpha$ 是 $F(x)$ 的上 $\alpha$ 分位点。

也就是说，$x_\alpha$ 是一个横坐标，纵坐标是概率密度，右侧的面积是概率，概率等于 $\alpha$.

t 分布

设 $X\sim N(0,1),Y\sim \chi^2(n)$，且 $X,Y$ 独立，则：

$$t=\frac{X}{\sqrt{Y/n}}\sim t(n)$$

服从自由度为 $n$ 的 t 分布。

当 $n\to \infty$ 时，t 分布近似于 $N(0,1)$.

「分位点」

概率密度是偶函数，所以分位点有：$t_{1-\alpha}(n)=-t_{\alpha}(n)$.

F 分布

设 $X\sim \chi^2(n_1)$，$Y\sim \chi^2(n_2)$，且 $X,Y$ 独立，则：

$$F=\frac{X/n1}{Y/n2}\sim F(n_1,n_2)$$

服从自由度为 $(n_1,n_2)$ 的 F 分布。

「与 t 分布的关系」

$$X\sim t(n)\Rightarrow X^2\sim F(1,n)$$

这是因为：$X=\frac{U}{\sqrt{V/n}}\Rightarrow X^2=\frac{U^2/1}{V/n}$

「分位点」

$F_{1-\alpha}(n_1,n_2)=\dfrac{1}{F_\alpha(n_2,n_1)}$

特征总结

• $\chi^2(n)$：平方和；
• $t(n)$：正态 / 根号下平方和，或分母有绝对值。
• $F(n_1,n_2)$：平方和 / 平方和。

例题

设 $X_1,X_2,\cdots,X_5$ 为总体 $X\sim N(0,1)$ 的一个样本，设 $Y=(X_1+X_2+X_3)^2+(X_4-\sqrt{2}X_5)^2$ 且 $cY$ 服从 $\chi^2$ 分布，求系数 $c$ 的值.

把每个被平方的项，化为标准正态分布。

$X_1+X_2+X_3\sim N(0,3)$，标准化，则有：

$$A=\frac{X_1+X_2+X_3-0}{\sqrt{3}}\sim N(0,1)$$

$X_4-\sqrt{2}X_5\in N(0,3)$，标准化，则有：

$$B=\frac{X_4-\sqrt{2}X_5-0}{\sqrt{3}}\sim N(0,1)$$

另外 $A,B$ 显然独立，故 $A^2+B^2=\dfrac{1}{3}Y\sim \chi^2(2)$，$c=\dfrac{1}{3}$.

正态总体抽样分布

1. $\dfrac{(\bar X-\mu)}{\sigma/\sqrt{n}}\sim N(0,1)$

2. 样本均值 $\bar X$ 和样本方差 $S^2$ 相互独立

$$\frac{(n-1)S^2}{\sigma^2}=\frac{\sum\limits_{i=1}^n(X_i-\bar X)^2}{\sigma^2}\sim\chi^2(n-1)$$ $$\frac{\sum\limits_{i=1}^n(X_i-\mu)^2}{\sigma^2}\sim\chi^2(n)$$

4. $T=\dfrac{\bar X-\mu}{S/\sqrt{n}}\sim t(n-1)$