概率论基础

1基本概念

1.1随机事件

随机试验三要素:

可在同等条件下重复;
结果是可被事先预测的多种可能;
试验前结果不确定.

1.2样本空间

样本空间(Sample Space) :随机试验 $E$ 的所有可能结果的集合,记作 $\Omega = \{ \omega \}$ .

样本点(Sample Point) :一个样本空间众多的每个元素.

样本空间中样本点的个数为有限个或可列个的情况为离散样本空间(Discrete Sample Space) ;
样本空间中样本点的个数为不可列无限个的情况为连续样本空间(Continuous Sample Space) ;

1.3事件运算

事件(Event) :某些基本事件构成的集合.为样本空间的子集.

德摩根定律(De Morgan’s Laws) :

$\overline{A \cup B} = \overline{A} \cap \overline{B}$ ;
$\overline{A \cap B} = \overline{A} \cup \overline{B}$ ;
$\overline{ \cup_{i=1}^{n} A_i} = \cap_{i=1}^{n} \overline{A_i}$ ;
$\overline{ \cap_{i=1}^{n} A_i} = \cup_{i=1}^{n} \overline{A_i}$ ( $n \rightarrow + \infty$ 也成立) .

1.4概率

古典概型(Classical Probability) :样本空间 $S$ 中有有限个等可能的两两互不相容的基本事件,个数记为 $\# \{ S \}$ ,事件 $A$ 发生的概率为 $P(A) = \frac{\# \{ A \} }{\# \{ S \} }$ .

例:

有重复的排列:

$n$ 个不同小球有放回取出 $r$ 次: $n^r$ ;

$n$ 个不同小球有放回放入 $r$ 个格子: $r^n$ ;

有重复的组合:

$n$ 个相同小球放入 $r$ 个格子(可空) : $C_{n+r-1}^{n}$ ;

$n$ 个相同小球放入 $r$ 个格子(不可空) : $C_{n-1}^{r-1}$ .

几何概型(Geometric Probability) : $P(Ag) = \frac{g的测度}{\Omega的测度}$ .

频率(Frequency)的性质:

$0 \leq f_n (A) \leq 1$ ;
$f_n (S) = 1$ ;
若 $A_1, A_2, ..., A_k$ 两两互斥, $f(A_1 \cup A_2 \cup A_k) = f_n (A_1) + f_n (A_2) + ... + f_n (A_k)$ .

例:蒲丰投针

压线概率: $P = \frac{1/2 \int_0^{\pi} l \sin(\phi) ~ d \phi}{1/2 a \pi} n= \frac{2l}{\pi a}$ .

事件 $\sigma$ 域: $\mathcal{F}$ 是由样本空间 $\Omega$ 的子集组成的集类,满足:

$\Omega \in \mathcal{F}$ ;
若 $A \in \mathcal{F}$ ,则 $\overline{A} \in \mathcal{F}$ ( “取补” 运算封闭) ;
若 $A_n \in \mathcal{F}$ , $n = 1, 2, ...$ ,则 $\cup_{n = 1}^{\infty} A_n \in \mathcal{F}$ ( “可列并” 运算封闭) .

则称 $\mathcal{F}$ 是 $\sigma$ 域, $\mathcal{F}$ 中的元素为事件.

一维Borel $\sigma$ 域:在全体实数 $\mathbb{R}^1$ 中,由一切形为 $[a, b)$ 的有界左闭右开区间构成的集类所产生的 $\sigma$ 域.记之为 $\mathcal{B}_1$ . $\mathcal{B}_1$ 中的集合为一维Borel点集. $\mathcal{B}_1$ 包括了实数中(大概)所有感兴趣的集.

概率(Probability) :设 $\Omega$ 为一个样本空间, $\mathcal{F}$ 为的某些子集组成的一个事件 $\sigma$ 域.如果对任一事件 $A \in \mathcal{F}$ ,定义在 $\mathcal{F}$ 上的一个实值函数 $P(A)$ 满足:

非负性: $P(A) \geq 0, \forall A \in \mathcal{F}$ ;
规范性: $P(\Omega) = 1$ ;
可列可加性: $A_i \in \mathcal{F}$ , $i = 1, 2, ...$ 且两两互不相容,则 $P(A_1 + A_2 + ...) = P(A_1) + P(A_2) + ...$ ;

则称 $P(A)$ 为事件 $A$ 的概率,称三元总体 $(\Omega, \mathcal{F}, \mathcal{P})$ 为概率空间(Probability Space) . 所以概率 $P$ 是个集合函数,定义域为 $\mathcal{F}$ ,值域为 $[0, 1]$ .

概率的性质:

$P(\emptyset) = 0$ (由可列可加性) ;
有限可加性: $P(A_1 + A_2 + ... + A_n) = P(A_1) + P(A_2) + ... P(A_n)$ (由可列可加性及性质1) ;
$P(\overline{A}) = 1 - P(A)$ ;
$\forall A, B \in \mathcal{F}$ , $P(A - B) = P(A) - P(AB)$ ;
若 $A \subset B$ ,则 $P(B - A) = P(B) - P(A)$ ;
$P(A \cup B) = P(A) + P(B) - P(A \cap B)$ ;
容斥原理:

\begin{aligned} P(\cup_{i = 1}^{n}E_i) = &\sum_{i = 1}^{n} P(E_i) - \sum_{i_1 < i_2} P(E_{i_1}E_{i_2}) \\ &+ ... +(-1)^n P(E_1E_2...E_n). \end{aligned}

推论:

若 $A \subset B$ ,则 $P(A) \leq P(B)$ ;
布尔不等式: $P(A \cup B) \leq P(A) + P(B)$ ;
Bonferroni不等式: $P(AB) \geq P(A) + P(B) - 1$ .

2条件概率与统计独立性

2.1条件概率

设 $(\Omega, \mathcal{F}, \mathcal{P})$ 是一个概率空间, $B \in \mathcal{F}$ ,且 $P(B) > 0$ ,则 $\forall A \in \mathcal{F}$ ,记 $P(A|B) = \frac{P(AB)}{P(B)}$ . 称 $P(A|B)$ 为在事件 $B$ 发生的条件下的事件 $A$ 发生的条件概率.

乘法公式:

$P(AB) = P(A)P(A|B)$ ;
$P(ABC) = P(A)P(A|B)P(C|AB)$ .

性质:

概率的所有性质;
若 $BC = \emptyset$ ,则 $P(BC) = 0$ ;
$P(B|B) = 1$ ,若 $C \subset B$ ,则 $P(B|C) = 1$ ;
若 $B \subset C$ ,则 $P(B|C) = \frac{P(B)}{P(C)}$ ;
$P(B| \Omega) = 1$ ,若 $P(C) = 1$ ,则 $P(B|C) = 1$ (利用补集来证明).

2.2事件独立

$A, B \in \mathcal{F}$ ,若 $P(AB) = P(A)P(B)$ ,则 $A$ , $B$ 独立.

$A, B, C \in \mathcal{F}$ ,若

$P(AB) = P(A)P(B)$ ;
$P(AC) = P(A)P(C)$ ;
$P(BC) = P(B)P(C)$ ;
$P(ABC) = P(A)P(B)P(C)$ ,

则 $A$ , $B$ , $C$ 相互独立.

性质:

若 $A$ , $B$ 独立, $P(B) > 0 \Leftrightarrow P(A|B) = P(A)$ ;
若 $A$ , $B$ 独立, $P(B) > 0 \Leftrightarrow P(A|B) = P(A| \overline{B}) \Leftrightarrow P(A|B) + P(\overline{A} | \overline{B}) = 1$ ;
若 $A$ , $B$ 独立,则 $\{A, \overline{B} \}$ , $\{ \overline{A}, B \}$ , $\{ \overline{A}, \overline{B} \}$ 各组事件独立;
$\Omega$ 和 $\emptyset$ 与任何事件独立.

2.3全概率公式

设事件 $E_1, E_2, ...$ 是样本空间 $\Omega$ 的一个分割(完备事件组) ,即 $E_i$ , $i = 1, 2, ...$ 两两互斥且 $\cup_{i = 1}^{\infty}E_i = \Omega$ ,则 $P(A) = \sum_{i=1}^{\infty} P(A|E_i)P(E_i)$ . 分解复杂问题分布考虑.

贝叶斯(Bayesian)公式:

\overbrace{P(E_i | A)}^{后验概率} = \frac{P(A|E_i)\overbrace{P(E_i)}^{先验概率}}{P(A)} = \frac{P(A|E_i)P(E_i)}{\sum_{j=1}^{\infty} P(A|E_j)P(E_j)}.

3随机变量与分布函数

3.1随机变量(Random Variable)

3.1.1随机变量定义

函数 $X(e)$ 可称为随机变量,若满足:

$X(e)$ 是定义在样本空间 $\Omega$ 的关于 $\mathcal{F}$ 的单值实函数;
对于每个实数 $x$ ,集合 $\{e: X(e) \leq x \}$ 是一个事件. $X = X(e)$ 使样本空间 $\Omega$ 中的每个基本事件 $e$ 在实数轴 $\mathbb{R}^1 = (- \infty, + \infty)$ 上有一点 $X$ 与之对应.

根据样本空间中基本事件是否有限/可数将随机变量分为连续型随机变量和离散型随机变量.

3.1.2分布函数(Distribution Function)

设 $X$ 为一个随机变量, $x$ 为任意实数,则函数

F(x) = P \{ X \leq x \}, ~~~ - \infty \leq x \leq + \infty

为随机变量 $X$ 的分布函数.

性质:

单调性:单调不减;
非负有界: $F(x) \in [0, 1]$ , $\displaystyle \lim_{x \rightarrow - \infty} F(x) = 0$ , $\displaystyle \lim_{x \rightarrow + \infty} F(x) = 1$ ;
连续性: $F(x)$ 右连续,即 $\displaystyle \lim_{h \rightarrow 0} F(x + h) = F(x)$ .

若函数满足三条性质,则该函数一定是某个随机变量的分布函数.

3.2离散型随机变量(Discrete R.V.)

3.2.1离散型随机变量的分布率(Probability Distribution)

设离散型随机变量 $X$ ,其可能值为 $x_k$ ( $k = 1, 2, ...$ ),则

P(X = x_k) = P_k, ~~~ k = 1, 2, ...

称为 $X$ 的分布率.

$P_k$ 满足: $P_k \geq 0$ (非负性); $\sum_{k = 1}^{\infty} P_k = 1$ (归一性).

3.2.2离散型随机变量的分布函数

随机变量 $X$ 的分布律为 $P(X = x_k) = P_k$ , ( $k = 1, 2, ...$ ) ,其分布函数为

F(X) = P \{ X \leq x \}= \sum_{x_k < x} p_k.

3.2.3常见离散型随机变量分布函数

单点分布
$P \{ X = c \} = 1.$
两点分布（Bernoulli Distribution，伯努利分布）
$P \{ X = 0 \} = 1-p, \qquad P \{ X = 1 \} = p.$
二项分布（Binomial Distribution）

$n$ 次伯努利试验中事件发生 $X$ 次，则
$X \sim \operatorname{Bin}(n,p),$ $P \{ X = k \} = \binom{n}{k}p^kq^{n-k}, \qquad k=0,1,\ldots,n, \qquad q=1-p.$
最大值： $k=(n+1)p$ .
几何分布（Geometric Distribution）

伯努利试验一直进行到第 $X$ 次时事件第一次发生，则
$P \{ X = k \} = q^{k-1}p.$
几何分布具有无记忆性。
泊松分布（Poisson Distribution）
$X \sim \operatorname{Poi}(\lambda),$ $P \{ X = k \} = \frac{\lambda^k e^{-\lambda}}{k!}.$

当 $n \rightarrow \infty$ 、 $p \rightarrow 0$ 且 $np=\lambda$ 时，二项分布的极限为泊松分布：

\lim_{n \rightarrow \infty} \binom{n}{k}p^kq^{n-k} = \frac{\lambda^k e^{-\lambda}}{k!}, \qquad np=\lambda.

无记忆性（Memorylessness）：后面事件发生的概率与前面已经过的时间无关，即

P \{ X = m+k \mid X > m \} = P \{ X = k \}.

在离散型随机变量 $X \in \mathbb{Z}^*$ 中，也可写为

P \{ X = k+1 \mid X > k \} = P \{ X = 1 \}.

例：几何分布无记忆性的证明

令
$a_k=P \{ X=k \}, \qquad b_k=P \{ X>k \}.$
则
$p=P \{ X=k+1 \mid X>k \}=\frac{a_{k+1}}{b_k}, \qquad a_{k+1}=b_k-b_{k+1}.$
因此
$pb_k=b_k-b_{k+1}, \qquad b_k=(1-p)^{k-1}b_1=(1-p)^{k-1}(1-a_1).$
进一步得到
$a_{k+1}=p(1-p)^{k-1}(1-a_1).$
令 $k=0$ ，有
$a_1=p(1-p)^{-1}(1-a_1),$
可得 $a_1=p$ ，即
$P \{ X=k+1 \mid X>k \}=P \{ X=1 \}.$
得证。

3.3连续型随机变量(Continuous R.V.)

对于随机变量 $X$ ,若 $\forall x \in \mathbb{R}$ 存在一个非负可积的函数 $f(x)$ ,有 $F(x) = \int_{- \infty}^{x}f(t)dt$ ,则称 $X$ 是一个连续型随机变量; $f(x)$ 为 $X$ 的密度函数.

性质:

非负性: $f(x) \geq 0$ .
规范性: $\int_{- \infty}^{+ \infty} f(x) dx = 1$ .
$\forall x_1 \leq x_2$ , $P \{ x_1 < x \leq x_2 \} = F(x_2) - F(x_1) = \int_{x_1}^{x_2} f(x_1)dx$ .
若 $f(x)$ 在 $x_0$ 连续,则 $F'(x) = f(x)$ .

若函数 $f(x)$ 满足以上四条性质,则该函数一定是某个随机变量的密度函数.

3.3.1常见连续型随机变量分布函数

均匀分布（Uniform Distribution）
$X \sim U(a,b).$ $f(x)= \begin{cases} \dfrac{1}{b-a}, & a<x<b, \\ 0, & \text{otherwise}. \end{cases}$ $F(x)= \begin{cases} 0, & x<a, \\ \dfrac{x-a}{b-a}, & a\leq x<b, \\ 1, & x\geq b. \end{cases}$
指数分布（Exponential Distribution）
$X \sim \operatorname{Exp}(\lambda).$ $f(x)= \begin{cases} \lambda e^{-\lambda x}, & x>0, \\ 0, & \text{otherwise}. \end{cases}$ $F(x)= \begin{cases} 0, & x\leq 0, \\ 1-e^{-\lambda x}, & x>0. \end{cases}$
指数分布具有无记忆性：
$P \{ X>s+t \mid X>s \}=P \{ X>t \}.$
对于很小的 $\Delta t$ ，也可写成
$P \{ t<X\leq t+\Delta t \mid X>t \} =\lambda\Delta t+o(\Delta t).$

例：指数分布无记忆性的证明

由条件概率得
$\frac{F(t+\Delta t)-F(t)}{1-F(t)} =\lambda\Delta t+o(\Delta t).$
整理为
$\frac{F(t+\Delta t)-F(t)}{\Delta t} =\left(\lambda+\frac{o(\Delta t)}{\Delta t}\right)(1-F(t)).$
令 $\Delta t\rightarrow 0$ ，则
$\frac{dF(t)}{dt}=\lambda(1-F(t)).$
分离变量并积分：
$\frac{dF(t)}{1-F(t)}=\lambda\,dt, \qquad -\ln(1-F(t))=\lambda t+c.$
因为 $F(0)=0$ ，所以 $c=0$ ，最终得到
$F(t)=1-e^{-\lambda t}.$

正态分布（Gaussian Distribution）
$X \sim N(\mu,\sigma^2).$ $f(x)=\frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right).$
性质：
- 关于 $x=\mu$ 对称。
- 密度函数的最大值为
  $\max f(x)=f(\mu)=\frac{1}{\sqrt{2\pi}\sigma}.$
- 两个拐点为 $x=\mu\pm\sigma$ .
标准正态分布

将正态分布标准化：
$Z=\frac{X-\mu}{\sigma}\sim N(0,1).$
其密度函数为
$\phi(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}.$
性质：
- $\Phi(-x)=1-\Phi(x)$ .
- 当 $x>0$ 时，
  $P \{ |Z|\leq x \}=2\Phi(x)-1.$
- 若 $z_\alpha$ 表示上侧 $\alpha$ 分位点，即
  $P \{ Z>z_\alpha \}=\alpha,$
  则由对称性有
  $z_{1-\alpha}=-z_\alpha.$

4随机向量，随机变量的独立性

4.1随机向量及分布函数

4.1.1随机向量

若随机变量 $\xi_1 ( \omega ), \xi_2 ( \omega ), ..., \xi_n( \omega )$ 定义在同一概率空间 $( \Omega, \mathcal{F}, \mathcal{P} )$ 上,则称

\vec{\xi} (\omega) = \big( \xi_1 ( \omega ), \xi_2 ( \omega ), ..., \xi_n( \omega ) \big)

构成一个 $n$ 维随机向(变)量.

4.1.2 (联合)分布函数(Joint C.D.F)

\vec{\xi} (\omega) \sim F (x_1, x_2, ..., x_n) = P \{ \xi_1 ( \omega ) \leq x_1, ..., \xi_n ( \omega ) \leq x_n \}.

其中: $F: \mathbb{R}^n \mapsto [0, 1]$ ; $\{ \omega: \xi_i (\omega) \leq x_i, ~ i = 1, 2, ..., n \} \in \mathcal{F}$ ; $\cap_{i = 1}^n \{ \xi_n^{-1} (x_i) \} \in Borel ~ \mathbb{R}^n$ .

性质:

$F(\vec{x})$ 右连续;
$\displaystyle \lim_{x_i \to - \infty} F(x_1, ..., x_n) = 0$ ; ( $\because ~ \forall ~ i \in \{ 1, 2, ..., n \}, ~ \cap_{j = 1}^n \{ \xi_j \leq x_j \} \subset \{ \xi_i \leq x_i \}$ ,且 $\displaystyle \lim_{x_i \to - \infty} F(x_i) = 0$ )
$\displaystyle \lim_{x_i \to + \infty} F(x_1, ..., x_n) = F_{n-1} (x_1, ..., x_{i-1}, x_{i+1}, ...x_n)$ . 即 $(\xi_1, ..., \xi_{i-1}, \xi_{i+1}, ..., \xi_n)$ 的C.D.F. 特别地 $\xi_i \sim F_i (x_i) = \displaystyle \lim_{x_j \to + \infty} F(x_1, ..., x_i, ..., x_n), ~ j \neq i$ , ;称为它的边际(Marginal)分布.
单调性:关于每个分量单调不减. 一元: $\forall ~ x_1 < x_2, ~ P(x_1 < \xi \leq x_2) = F(x_2) - F(x_1) > 0$ ; 二元: $\forall ~ x_1' < x_1, ~ x_2' < x_2$ ,

\begin{aligned} P(x_1' < \xi_1 \leq x_1, ~ x_2' < \xi_2 \leq x_2) = {}& F(x_1, x_2) - F(x_1', x_2) \\ &- F(x_1, x_2') + F(x_1', x_2'). \end{aligned}

$n$ 元: $\forall ~ x_1' < x_1, ..., ~ x_n' < x_n$ ,

\begin{aligned} P(x_1' < \xi_1 \leq x_1, ..., ~ x_n' < \xi_n \leq x_n) = {}& F(x_1, ..., x_n) - \sum F(\text{含有1个'}的) \\ &+ \sum F(\text{含有2个'}的) + ... \\ &+(-1)^n \sum F(\text{含有n个'}的). \end{aligned}

满足以上四条性质的函数必是某随机变量的分布函数.

4.2常见的多元随机变量

4.2.1离散型

多项分布: (Multinomial Distribution) $n$ 次试验中 $A_i$ 发生 $n_i$ 次, $i = 1, ..., r$ ,即一次试验结果有 $r$ 种情况. $P(A_i) = p_i$ , $n = \sum_{i = 1}^r n_i$ , $\sum_{i = 1}^r p_i = 1$ ,

P \{ \xi_1 = n_1, ..., ~\xi_r = n_r \} = \frac{n!}{n_1!...n_r!} p_1^{n_1}...p_r^{n_r}.

超几何分布: (Hypergeometric Distribution) 袋中共有 $N$ 只球,第 $i$ 种球有 $N_i$ 只,共取出 $n$ 只球,第 $i$ 种球取出了 $n_i$ 只. $N = \sum_{i = 1}^r N_i$ , $n = \sum_{i = 1}^r n_i$ , $i = 1, ..., r$ ,即共有 $i$ 种球.

P \{ \xi_1 = n_1, ..., ~\xi_r = n_r \} = \frac{N \choose n}{ {N_1 \choose n_1} {N_2 \choose n_2}... {N_r \choose n_r} }.

4.2.2连续型

连续型随机变量密度函数 $p(x_1, ..., x_n)$ 的定义:存在非负函数 $p(x_1, ..., x_n)$ 使得

F(x_1, ..., x_n) = \int_{- \infty}^{x_1} ... \int_{- \infty}^{x_n} p(y_1, ..., y_n) ~ dy_1...dy_n.

均匀分布: (Uniform Distribution) $\vec{x} \sim N(\vec{\mu}, \Sigma)$ 有限可测区域 $G \in \mathbb{R}^n$ ,其测度为 $S$ .

p(x_1, x_2, ..., x_n) = \begin{cases} \frac{1}{S}, & (x_1, x_2, ..., x_n) \in G, \\ 0, & (x_1, x_2, ..., x_n) \notin G. \end{cases}

多元正太分布: (Multivariate Normal Distribution)

p(x_1, x_2, ..., x_n) = p(\vec{x}) = \frac{1}{(2 \pi)^{\frac{n}{2}} |\Sigma|^{\frac{1}{2} } } \exp \left\{ - \frac{1}{2} (\vec{x} - \vec{\mu}) \Sigma^{-1} (\vec{x} - \vec{\mu}) \right\}.

其中 $\vec{\mu} = (\mu_1, \mu_2, ..., \mu_n)$ , $\Sigma = (\sigma_{ij})$ 为 $n$ 阶正定对称矩阵.

$n = 1$ 时, $\mu \in \mathbb{R}$ , $\Sigma = \sigma^2 > 0$ ;
$n = 2$ 时, $(x, y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$ ,

\vec{\mu} = (\mu_1, \mu_2), \qquad \Sigma = \begin{pmatrix} \sigma_1^2 & \rho \sigma_1 \sigma_2 \\\\ \rho \sigma_1 \sigma_2 & \sigma_2^2 \end{pmatrix}.

\begin{aligned} p(x, y) ={}& \frac{1}{2 \pi \sigma_1 \sigma_2 \sqrt{1 - \rho^2}} \\ &\cdot \exp \left\{ -\frac{1}{2(1 - \rho)^2} \left[ \frac{(x - \mu_1)^2}{\sigma_1^2} - 2 \rho \frac{(x - \mu_1)(y - \mu_2)}{\sigma_1 \sigma_2} + \frac{(y - \mu_2)^2}{\sigma_2^2} \right] \right\}. \end{aligned}

其典型分解为

\begin{aligned} p(x, y) ={}& \frac{1}{\sqrt{2 \pi} \sigma_1} \exp \left\{- \frac{(x - \mu_1)^2}{2 \sigma_1^2}\right\} \\ &\cdot \frac{1}{\sqrt{2 \pi} \sigma_2 \sqrt{1 - \rho^2}} \exp \left\{ - \frac{ \left[ y - \left( \mu_2 + \rho \frac{\sigma_1}{\sigma_2} (x - \mu_1) \right) \right]^2 }{2 \sigma_2^2 (1 - \rho^2)} \right\}. \end{aligned}

4.3边际分布及条件分布(Conditional Distribution)

4.3.1边际分布

设多元随机变量 $\vec{x} \sim F (\vec{x})$ ,则 $x_j$ 的边际分布为 $F_j (x_j) = F (+ \infty, + \infty, ..., x_j, ...)$ .

离散型: $n = 2$ 时, $p_{ij} = P(x = x_i, y = y_j)$ , $i, j = 1, 2, ...$ . $x$ 的边际分布为
$\begin{aligned} P(x = x_i) &= P(x = x_i, \cup_{j = 1}^{\infty} \{ y = y_j \}) \\ &= \sum_{j = 1}^{\infty} P(x = x_i, y = y_j) \\ &= \sum_{j = 1}^{\infty} p_{ij} = p_{i.}. \end{aligned}$
连续型:
$\begin{aligned} F_t(x_t) &= F(+ \infty, + \infty, ..., x_t, ...) \\ &= \int_{- \infty}^{x_t} \left[ \int_{- \infty}^{+ \infty} ... \int_{- \infty}^{+ \infty} f(\vec{y}) ~ dy_1 dy_2 ... dy_{t-1} dy_{t+1} ... \right]~ dy_t. \end{aligned}$
混合型: eg. $x \sim N(0, 1)$ ，且
$y = \begin{cases} -1, & x < -1, \\ x, & -1 \leq x < 1, \\ 1, & x \geq 1. \end{cases}$

4.3.2条件分布

以二元条件分布为例 $F(x, y_0) = P(X \leq x ~ | ~ Y = y_0)$ .

离散型:
$P(x = x_{i} ~ | ~ y = y_{j}) = \frac{P(x = x_i, y = y_i)}{P(y = y_i)} = \frac{p_{ij}}{p_{.j}}.$
连续型:
$\begin{aligned} &P(x \leq X < x + \triangle x ~ | ~ y \leq Y < y + \triangle y) \\ ={}& \frac{P(x \leq X < x + \triangle x, ~ y \leq Y < y + \triangle y)}{P( y \leq Y < y + \triangle y)} \\ ={}& \frac{\int_x^{x + \triangle x} \int_{y}^{y + \triangle y} f(s, t) ~ dt ds}{\int_{- \infty}^{+ \infty} \int_{y}^{y + \triangle y} f(s, t) ~ dt ds}. \end{aligned}$ $\begin{aligned} P(x ~ | ~ y) &= \lim_{\substack{\triangle x \to 0 \\ \triangle y \to 0}} \frac{1}{\triangle x} P(x \leq X < x + \triangle x ~ | ~ y \leq Y < y + \triangle y) \\ &= \lim_{\substack{\triangle x \to 0 \\ \triangle y \to 0}} \frac{\frac{1}{\triangle x \triangle y} \int_x^{x + \triangle x} \int_{y}^{y + \triangle y} f(s, t) ~ dt ds}{\int_{- \infty}^{+ \infty} \left[ \frac{1}{\triangle y} \int_{y}^{y + \triangle y} f(s, t) ~ dt \right] ds} \\ &= \frac{f(x, y)}{\int_{- \infty}^{+ \infty} f(s, y) ~ ds} = \frac{f(x, y)}{f_y (y)}. \end{aligned}$

若 $f_{y}(y) = 0$ ,则 $p (x ~ | ~ y) = 0$ .

例：二元正态分布

设
$(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho).$
其边际分布为
$X\sim N(\mu_1,\sigma_1^2), \qquad Y\sim N(\mu_2,\sigma_2^2).$
条件分布为
$Y\mid X=x_0 \sim N\!\left( \mu_2+\rho\frac{\sigma_2}{\sigma_1}(x_0-\mu_1), \sigma_2^2(1-\rho^2) \right).$
当 $\rho=0$ （即 $X$ 与 $Y$ 独立）时，上述条件分布即为 $Y$ 的边际分布。

4.4随机变量的独立性

对于 $\mathbb{R}$ 上的任意Borel集 $A$ , $B$ …

P(X \in A, Y \in B, ...) = P(X \in A) P(Y \in B) ...,

则称 $A$ , $B$ … 独立. 特别地, $A = (- \infty , x]$ , $B = (- \infty , y]$ … 时,

P(X \leq x, Y \leq y, ...) = P(X \leq x) P(Y \leq y) ....

以两个变量为例,即 $F(x, y) = F_x (x) F_y (y)$ 对 $\forall ~ x, y \in \mathbb{R}$ 成立. 即定义域中任意点满足:联合分布= $\prod$ 边际分布.

离散型 $(x_1, x_2, ... x_n)^T$ 对 $A_1, ..., A_n$ , $P(x_1 \in A_1, ... , x_n \in A_n) = P(x_1 \in A_1)... P(x_n \in A_n)$ .
连续型

f(x_1, ..., x_n) = \frac{\partial^n F(x_1, ..., x_n)}{\partial x_1 ... \partial x_n} = f_{x_1} (x_1)... f_{x_n} (x_n).

对于几乎处处 $\vec{x} \in \mathbb{R}^n$ 成立. eg.

f(s) = \begin{cases} f(s_0) + t, & s = s_0, \\ f(s), & s \neq s_0. \end{cases}