概率论基础

1. 变量与随机变量的区别#

变量是用于表示某个数值的符号。若其取值由确定的条件决定，它可以看作普通的确定性变量。

随机变量是将随机试验的每个样本点映射为实数的函数：

X:\Omega\rightarrow\mathbb R.

随机变量的取值在试验前不能确定，但每个可能取值具有相应的概率规律。

例如，掷一次骰子时，“点数”可以定义为随机变量 $X$ ，其可能取值为 $1,2,\ldots,6$ 。

2. 古典概型与几何概型#

古典概型适用于样本空间中只有有限个等可能基本事件的情形。若事件 $A$ 包含 $m$ 个基本事件，样本空间包含 $n$ 个基本事件，则：

P(A)=\frac{m}{n}.

例如，掷一枚均匀骰子，出现偶数的概率为 $3/6=1/2$ 。

几何概型适用于在某个几何区域内均匀随机取点的情形。概率由长度、面积或体积之比确定：

P(A) = \frac{\text{事件 }A\text{ 对应区域的测度}} {\text{整个样本空间的测度}}.

例如，在长度为 $L$ 的线段上均匀取一点，落入长度为 $l$ 的子区间的概率为 $l/L$ 。

几何概型的关键不是“可能结果无限”，而是结果在几何区域内按照测度均匀分布。

3. 联合概率、边缘概率与条件概率#

联合概率表示多个事件同时发生的概率：

P(A\cap B).

边缘概率表示单个事件发生的概率。它可以由联合概率对其他变量求和或积分得到。例如：

P(A)=\sum_b P(A,B=b).

对连续随机变量：

f_X(x)=\int_{-\infty}^{+\infty}f_{X,Y}(x,y)\,dy.

条件概率表示在事件 $B$ 已经发生的条件下，事件 $A$ 发生的概率：

P(A\mid B)=\frac{P(A\cap B)}{P(B)},\qquad P(B)>0.

由此可得乘法公式：

P(A\cap B)=P(B)P(A\mid B)=P(A)P(B\mid A).

4. 全概率公式与贝叶斯公式#

设事件 $B_1,B_2,\ldots,B_n$ 两两互斥，且构成样本空间的一个完备划分：

B_i\cap B_j=\varnothing\quad(i\ne j),\qquad \bigcup_{i=1}^n B_i=\Omega.

全概率公式用于“由原因推结果”。若要计算结果 $A$ 发生的概率，可以将所有可能原因分别考虑：

P(A)=\sum_{i=1}^n P(B_i)P(A\mid B_i).

贝叶斯公式用于“由结果推原因”。在已知 $A$ 已经发生时，原因 $B_i$ 发生的后验概率为：

P(B_i\mid A) = \frac{P(A\mid B_i)P(B_i)} {\sum_{j=1}^n P(A\mid B_j)P(B_j)}.

其中， $P(B_i)$ 是先验概率， $P(A\mid B_i)$ 是似然， $P(B_i\mid A)$ 是后验概率。

5. 先验概率、似然与后验概率#

在贝叶斯推断中，设 $\theta$ 为未知参数， $D$ 为观测数据。

先验概率 $P(\theta)$ ：观察数据之前，对参数 $\theta$ 的已有认识。
似然 $P(D\mid\theta)$ ：在参数为 $\theta$ 时，观测到数据 $D$ 的可能性。
后验概率 $P(\theta\mid D)$ ：观察数据之后，对参数概率分布的更新。

贝叶斯公式为：

P(\theta\mid D) = \frac{P(D\mid\theta)P(\theta)}{P(D)} \propto P(D\mid\theta)P(\theta).

先验概率不是由当前数据计算得到的；后验概率则综合了先验知识与观测数据。

6. 常见概率分布#

分布	概率质量函数或密度函数	期望	方差
伯努利分布 $B(1,p)$	$P(X=k)=p^k(1-p)^{1-k},\ k=0,1$	$p$	$p(1-p)$
二项分布 $B(n,p)$	$P(X=k)=\binom nkp^k(1-p)^{n-k}$	$np$	$np(1-p)$
泊松分布 $\operatorname{Pois}(\lambda)$	$P(X=k)=\dfrac{\lambda^ke^{-\lambda}}{k!}$	$\lambda$	$\lambda$
超几何分布 $H(N,M,n)$	$P(X=k)=\dfrac{\binom Mk\binom{N-M}{n-k}}{\binom Nn}$	$\dfrac{nM}{N}$	$n\dfrac MN\left(1-\dfrac MN\right)\dfrac{N-n}{N-1}$
几何分布 $\operatorname{Geo}(p)$	$P(X=k)=(1-p)^{k-1}p,\ k\ge1$	$\dfrac1p$	$\dfrac{1-p}{p^2}$
负二项分布 $\operatorname{NB}(r,p)$	$P(X=k)=\binom{k-1}{r-1}p^r(1-p)^{k-r},\ k\ge r$	$\dfrac rp$	$\dfrac{r(1-p)}{p^2}$
均匀分布 $U(a,b)$	$f(x)=\dfrac1{b-a},\ a<x<b$	$\dfrac{a+b}{2}$	$\dfrac{(b-a)^2}{12}$
正态分布 $N(\mu,\sigma^2)$	$f(x)=\dfrac1{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$	$\mu$	$\sigma^2$
指数分布 $\operatorname{Exp}(\lambda)$	$f(x)=\lambda e^{-\lambda x},\ x\ge0$	$\dfrac1\lambda$	$\dfrac1{\lambda^2}$

补充说明：

伯努利分布也称 0–1 分布，是两点分布的一种特殊形式。
超几何分布描述不放回抽样；二项分布通常描述独立重复试验或近似放回抽样。
当 $n$ 很大、 $p$ 很小且 $\lambda=np$ 适中时：

B(n,p)\approx\operatorname{Pois}(np).

泊松分布常用于描述固定时间或空间范围内随机事件的发生次数。
指数分布常用于描述泊松过程中相邻事件之间的等待时间。

7. 概率密度函数#

连续型随机变量 $X$ 的概率密度函数记为 $f_X(x)$ ，满足：

f_X(x)\ge0, \qquad \int_{-\infty}^{+\infty}f_X(x)\,dx=1.

区间概率由密度函数积分得到：

P(a<X\le b)=\int_a^bf_X(x)\,dx.

累积分布函数为：

F_X(x)=P(X\le x) = \int_{-\infty}^xf_X(t)\,dt.

若 $F_X$ 可导，则：

f_X(x)=F_X'(x).

需要注意：

$f_X(x)$ 本身不是点 $x$ 处的概率。
对连续型随机变量， $P(X=x)=0$ 。
概率密度值可以大于 $1$ ，只要总积分等于 $1$ 。

8. 期望与方差#

期望描述随机变量取值的平均水平或集中位置。

离散型随机变量：

E(X)=\sum_x xP(X=x).

连续型随机变量：

E(X)=\int_{-\infty}^{+\infty}xf_X(x)\,dx.

期望具有线性性质：

E(aX+bY+c)=aE(X)+bE(Y)+c.

该性质不要求 $X$ 与 $Y$ 独立。

方差描述随机变量围绕期望的离散程度：

\operatorname{Var}(X) = E\left[(X-E(X))^2\right] = E(X^2)-[E(X)]^2.

常用性质：

\operatorname{Var}(aX+b)=a^2\operatorname{Var}(X).

标准差为：

\sigma_X=\sqrt{\operatorname{Var}(X)}.

9. 协方差、协方差矩阵与相关系数#

协方差描述两个随机变量共同变化的方向：

\operatorname{Cov}(X,Y) = E\bigl[(X-E(X))(Y-E(Y))\bigr] = E(XY)-E(X)E(Y).

$\operatorname{Cov}(X,Y)>0$ ：二者总体上同向变化。
$\operatorname{Cov}(X,Y)<0$ ：二者总体上反向变化。
$\operatorname{Cov}(X,Y)=0$ ：二者不存在线性相关关系，但不一定独立。

两个随机变量之和的方差为：

\operatorname{Var}(X+Y) = \operatorname{Var}(X) + \operatorname{Var}(Y) + 2\operatorname{Cov}(X,Y).

若 $X$ 与 $Y$ 独立，则协方差为 $0$ ，因此：

\operatorname{Var}(X+Y) = \operatorname{Var}(X)+\operatorname{Var}(Y).

对于随机向量：

\mathbf X=[X_1,X_2,\ldots,X_n]^T,

其协方差矩阵为：

\Sigma=(\sigma_{ij})_{n\times n}, \qquad \sigma_{ij}=\operatorname{Cov}(X_i,X_j).

协方差矩阵是对称半正定矩阵，对角线元素是各变量的方差。

相关系数是标准化后的协方差：

\rho_{X,Y} = \frac{\operatorname{Cov}(X,Y)} {\sqrt{\operatorname{Var}(X)}\sqrt{\operatorname{Var}(Y)}}.

其取值范围为：

-1\le\rho_{X,Y}\le1.

10. 独立与不相关的区别#

若随机变量 $X$ 和 $Y$ 独立，则对任意合适的集合 $A,B$ ：

P(X\in A,Y\in B) = P(X\in A)P(Y\in B).

在二阶矩存在时，独立能够推出：

\operatorname{Cov}(X,Y)=0.

因此：

\text{独立}\Longrightarrow\text{不相关}.

反之通常不成立。不相关仅表示二者之间没有线性关系，仍可能存在非线性依赖。

例如，设 $X\sim U(-1,1)$ ， $Y=X^2$ 。此时 $\operatorname{Cov}(X,Y)=0$ ，但 $Y$ 完全由 $X$ 决定，因此二者并不独立。

对于联合正态分布的随机变量，不相关可以推出独立。

11. 独立与互斥的关系#

事件 $A$ 与 $B$ 独立是指：

P(A\cap B)=P(A)P(B).

事件 $A$ 与 $B$ 互斥是指：

A\cap B=\varnothing,

因此：

P(A\cap B)=0.

若 $P(A)>0$ 且 $P(B)>0$ ，则互斥事件不可能独立，因为：

P(A)P(B)>0\ne P(A\cap B).

直观上：

互斥表示两个事件不能同时发生。
独立表示一个事件是否发生不会改变另一个事件的概率。

12. 高斯随机变量的线性组合与乘积#

若 $X_i\sim N(\mu_i,\sigma_i^2)$ 相互独立，则它们的线性组合仍服从正态分布：

Y=b+\sum_{i=1}^n a_iX_i \sim N\left( b+\sum_{i=1}^na_i\mu_i,\, \sum_{i=1}^na_i^2\sigma_i^2 \right).

特别地：

X+Y\sim N(\mu_X+\mu_Y,\sigma_X^2+\sigma_Y^2)

成立的前提是 $X$ 与 $Y$ 独立。

常数倍和平移也保持正态性：

X\sim N(\mu,\sigma^2) \quad\Longrightarrow\quad aX+b\sim N(a\mu+b,a^2\sigma^2).

但两个高斯随机变量的乘积 $XY$ 一般不服从高斯分布。只有线性组合具有稳定的高斯形式。

13. 大数定律#

大数定律说明：当重复试验次数足够多时，样本平均值会以较大概率接近期望。它建立了“理论期望”和“实际平均结果”之间的联系。

切比雪夫大数定律

若 $X_1,X_2,\ldots,X_n$ 相互独立，期望和方差均存在，并且方差一致有界，则：

\frac{1}{n}\sum_{i=1}^n X_i - \frac{1}{n}\sum_{i=1}^n E(X_i) \xrightarrow{P}0.

伯努利大数定律

若 $X_n\sim B(n,p)$ 表示 $n$ 次独立伯努利试验中成功的次数，则：

\frac{X_n}{n}\xrightarrow{P}p.

也就是说，试验次数足够多时，事件发生的频率依概率收敛于其概率。

辛钦大数定律

若 $X_1,X_2,\ldots$ 独立同分布，且 $E(X_i)=\mu$ 存在，则：

\overline X_n=\frac{1}{n}\sum_{i=1}^nX_i \xrightarrow{P}\mu.

大数定律描述的是样本均值的收敛性，并不直接说明误差服从什么分布。

14. 中心极限定理#

中心极限定理说明：大量独立随机变量之和经过标准化后，通常近似服从标准正态分布。

若 $X_1,X_2,\ldots,X_n$ 独立同分布，且

E(X_i)=\mu,\qquad \operatorname{Var}(X_i)=\sigma^2>0,

则：

\frac{\sum_{i=1}^nX_i-n\mu}{\sigma\sqrt n} = \frac{\overline X_n-\mu}{\sigma/\sqrt n} \xrightarrow{d}N(0,1).

因此，当 $n$ 较大时：

\sum_{i=1}^nX_i\approx N(n\mu,n\sigma^2), \qquad \overline X_n\approx N\left(\mu,\frac{\sigma^2}{n}\right).

棣莫弗–拉普拉斯定理

若 $X_n\sim B(n,p)$ ，则当 $n$ 较大时：

\frac{X_n-np}{\sqrt{np(1-p)}}\xrightarrow{d}N(0,1).

即：

X_n\approx N\bigl(np,np(1-p)\bigr).

使用正态分布近似离散分布时，通常可以加入 $0.5$ 连续性修正。

例如，每发炮弹命中数的期望为 $2$ 、方差为 $1.69$ ，独立发射 $100$ 次，则总命中数 $S$ 近似满足：

S\approx N(200,169).

于是：

P(180\le S\le220) \approx \Phi\left(\frac{220.5-200}{13}\right) - \Phi\left(\frac{179.5-200}{13}\right) \approx0.885.

15. 极大似然估计#

极大似然估计用于根据样本估计未知参数。

设样本 $x_1,x_2,\ldots,x_n$ 来自参数为 $\theta$ 的分布，则似然函数为：

L(\theta) = \prod_{i=1}^n f(x_i;\theta).

极大似然估计量定义为：

\hat\theta_{\mathrm{MLE}} = \arg\max_\theta L(\theta).

通常使用对数似然：

\ell(\theta) = \log L(\theta) = \sum_{i=1}^n\log f(x_i;\theta),

因为对数可以将乘积变为求和，而且不会改变最大值的位置。

一般步骤：

写出似然函数 $L(\theta)$ 。
取对数，得到 $\ell(\theta)$ 。
对参数求导并令导数为 $0$ 。
求出候选解，并检查其是否为最大值以及是否满足参数范围。

极大似然估计得到的是基于有限样本的估计值。在适当的正则条件下，随着样本量增大，它通常具有一致性和渐近正态性，但这些性质并非在所有模型中自动成立。

16. 假设检验#

假设检验是在总体分布或参数未知时，根据样本信息判断某个假设是否具有足够证据被拒绝。

原假设 $H_0$ ：默认成立、准备接受检验的假设。
备择假设 $H_1$ ：当证据足够强时所支持的假设。

两类错误：

第一类错误： $H_0$ 为真，却拒绝 $H_0$ ，概率为 $\alpha$ 。
第二类错误： $H_0$ 为假，却未拒绝 $H_0$ ，概率为 $\beta$ 。

检验功效为：

1-\beta,

表示原假设确实为假时，正确拒绝它的概率。

一般步骤：

提出 $H_0$ 和 $H_1$ 。
选择检验统计量及其在 $H_0$ 下的分布。
给定显著性水平 $\alpha$ 。
根据样本计算检验统计量或 $p$ 值。
若 $p\le\alpha$ ，则拒绝 $H_0$ ；否则只能说“没有足够证据拒绝 $H_0$ ”，不能直接证明 $H_0$ 正确。

在样本量固定时， $\alpha$ 与 $\beta$ 往往存在权衡；增加样本量通常可以同时改善两类错误。

17. 机器学习为什么使用概率#

机器学习处理的数据通常具有噪声、不确定性和随机性，因此概率论是描述数据生成规律的重要工具。

主要作用包括：

用概率分布描述数据、标签、噪声和模型参数。
用条件概率表达预测问题，如 $P(y\mid x)$ 。
用似然函数和后验概率进行参数学习与推断。
用期望风险描述模型的平均预测误差。
用概率输出表达模型的不确定性。
许多常见损失函数可以解释为负对数似然。

例如，二分类交叉熵可以写成伯努利模型的负对数似然；均方误差则可由高斯噪声假设推导得到。

18. 用不均匀硬币产生均匀随机数#

设一枚硬币产生 $0$ 的概率为 $p$ ，产生 $1$ 的概率为 $1-p$ ，且每次投掷相互独立。

连续投掷两次：

P(01)=p(1-p), \qquad P(10)=(1-p)p.

因此， $01$ 和 $10$ 等概率。冯·诺依曼提取法规定：

出现 $01$ ，输出 $0$ 。
出现 $10$ ，输出 $1$ 。
出现 $00$ 或 $11$ ，丢弃并重新投掷。

这样可以得到无偏的 $0$ – $1$ 随机比特，不需要知道 $p$ 的具体值。

要产生 $1,2,\ldots,m$ 上的均匀随机整数，可以先利用上述方法生成无偏二进制位，再采用拒绝采样：

取 $k=\lceil\log_2m\rceil$ 。
用 $k$ 个无偏比特生成 $0$ 到 $2^k-1$ 的整数 $R$ 。
若 $R<m$ ，输出 $R+1$ ；否则丢弃并重新生成。

19. 伪随机数与均匀分布#

计算机中的伪随机数由确定性算法生成。给定相同的初始种子，生成的序列完全相同，但在统计性质上可以近似随机序列。

一种经典方法是线性同余生成器：

X_n=(aX_{n-1}+c)\bmod m,

其中：

$m$ 为模数；
$a$ 为乘数；
$c$ 为增量；
$X_0$ 为初始种子。

将整数序列归一化可得到 $[0,1)$ 上的伪均匀随机数：

U_n=\frac{X_n}{m}.

参数选择会影响随机序列的周期和统计质量。现代程序通常使用质量更高的伪随机数生成算法；密码学场景则必须使用密码学安全伪随机数生成器。

20. 由均匀分布生成高斯分布#

Box–Muller 变换可以将两个相互独立的均匀随机变量转换为两个相互独立的标准正态随机变量。

设：

U_1,U_2\overset{\text{i.i.d.}}{\sim}U(0,1),

则：

Z_0 = \sqrt{-2\ln U_1}\cos(2\pi U_2),

Z_1 = \sqrt{-2\ln U_1}\sin(2\pi U_2).

此时：

Z_0,Z_1\overset{\text{i.i.d.}}{\sim}N(0,1).

若需要生成一般正态分布 $N(\mu,\sigma^2)$ ，可进行线性变换：

X=\mu+\sigma Z, \qquad Z\sim N(0,1).